Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
2.4.2. Оценка действительных (неслучайных) параметровВо многих случаях бывает нереалистичным рассматривать неизвестный параметр как случайную величину. Формулировка этой задачи, приведенная в § 2.4, все еще остается приемлемой. Однако теперь параметр предполагается неслучайным, и нам необходимо построить процедуру оценки, оптимальную в некотором смысле. Самым первым логичным шагом было бы попытаться видоизменить байесовскую процедуру, описанную в § 2.4.1, с тем чтобы исключить среднее по
где математическое ожидание берется только по
Полученный ответ правилен, однако не имеет никакой практической ценности, поскольку А является неизвестной величиной, которую мы пытаемся определить. Таким образом, такой прямой подход к решению задачи оказывается неплодотворным. Более полезный метод в ситуации с неслучайным параметром — это исследовать другие возможные меры качества процедур оценки, а затем посмотреть, нельзя ли найти оценки, которые являются оптимальными с точки зрения указанных критериев. Первой такой мерой качества, которую нам предстоит рассмотреть, служит математическое ожидание оценки
Возможные значения математического ожидания можно сгруппировать в три различных класса: 1. Если 2. Если 3. Если Совершенно ясно, что даже несмещенная оценка может дать плохой результат в конкретном испытании. Простой пример иллюстрируется рис. 2.21. Плотность вероятности оценки центрируется около Второй мерш качества является дисперсия оценки
Она дает меру рассеяния ошибки. Вообще говоря, мы можем попытаться найти несмещенные оценки с малыми дисперсиями. Простой процедуры минимизации, которая приводила бы к несмещенной оценке с минимальной дисперсией, не существует. Поэтому мы вынуждены испытывать процедуру оценки, чтобы убедиться, насколько она оптимальна.
Рис. 2.21. Плотность вероятностей для оценки. Оценка по максимуму правдоподобия. Существует несколько путей для обоснования процедуры оценки, которую мы будем использовать. Рассмотрим простейшую задачу оценки, намеченную в примере 1. Напомним, что
Выберем в качестве нашей оценки такое значение
В общем случае функцию на
Это уравнение называется уравнением правдоподобия. Из сравнения (137) и (177) следует, что оценка по максимуму правдоподобия математически соответствует предельному случаю оценки по Для того чтобы проверить, насколько эффективна процедура оценки по максимуму правдоподобия, можно вычислить смещение и дисперсию оценки. Это часто бывает затруднительно сделать. Поэтому вместо прямого подхода к решению задачи мы сначала выведем выражение для нижней границы дисперсии любой несмещенной оценки. Затем произведем сравнение дисперсии Неравенство Крамера — Рао. Неслучайные параметры. Нам необходимо рассмотреть дисперсию любой оценки Теорема а) Если
или, что эквивалентно, б)
где предполагается, что удовлетворяются следующие условия: в) производные
существуют и абсолютно интегрируемы. Указанные неравенства впервые были сформулированы Фишером [6] и доказаны Дюгуа Доказательство этого положения проводится простым использованием неравенства Буняковского — Шварца: Так как оценка
Дифференцируя обе части по А, имеем
где условие
Первый интеграл равен просто +1. Заметим теперь, что
Подставляя (183) в (182), получим
Переписав (184), имеем
и, используя неравенство Буняковского — Шварца, получим
Было учтено, что в соотношении Буняковского — Шварца равенство выполняется тогда и только тогда, когда
для всех
Для доказательства утверждения
Дифференцируя по
Вновь дифференцируя по
или
что совместно с (188) дает условие Относительно этого результата следует сделать ряд важных замечаний. 1. Он показывает, что любая несмещенная оценка должна иметь дисперсию больше, чем некоторое число. 2. Если (187) удовлетворяется, то оценка
Чтобы правая часть была равна нулю, необходимо либо
либо
Так как мы ищем решение, которое зависит от результатов наблюдения, то исключаем (195) и требуем выполнения (194). Итак, если эффективная оценка существует, то это и есть 3. Если эффективной оценки не существует [т. е. является оценка 4. Чтобы использовать границу, нужно убедиться, что рассматриваемая оценка является несмещенной. Аналогичные границы могут быть просто получены для смещенных оценок (задача 2.4.17). Применение процедуры оценки по максимуму правдоподобия и неравенства Крамера — Рао можно проиллюстрировать на примерах 2, 3 и 4. Модель наблюдения является идентичной. Теперь, однако, предполагается, что параметры, подлежащие оценке, суть неслучайные величины. Пример 2. Из (138) имеем
Логарифмируя (139) и дифференцируя результат по А, получим
Таким образом,
Для отыскания смещения вычислим математическое ожидание от обеих частей (198):
так что Поскольку выражение (197) имеет вид, требуемый уравнением (187), то мы знаем, что
Используя (179) и тот факт, что рассматриваемая оценка эффективная имеем
Пропустим пока пример 3 и сразу перейдем к примеру 4. Пример 4. Дифференцируя логарифм (162), получим
Оценка по максимуму правдоподобия равна
Она, очевидно, является несмещенной и эффективной. Для получения дисперсии продифференцируем (202):
Таким образом,
В примерах 2 и 4 мы видим, что оценки по максимуму правдоподобия можно было бы получить из оценок по максимуму апостериорной вероятности [положив Вернемся теперь к примеру 3. Пример 3. Из первого члена экспоненты (160) имеем
Вообще говоря, правую часть невозможно записать в виде, требуемом уравнением (187), и, следовательно, несмещенной эффективной оценки не существует. Уравнение правдоподобия имеет вид
Если область изменения величины
Если (208) может быть удовлетворено, то
[Заметим, что (209) косвенно предполагает, что Мы видим, что оценка по максимуму правдоподобия коммутативна относительно нелинейных операций. (Это несправедливо для оценок по минимуму среднего квадрата ошибки и по максимуму апостериорной вероятности.) Если оценка является несмещенной, то находим границу дисперсии посредством дифференцирования (206):
Замечая, что
получим следующую границу для любой несмещенной оценки:
Эта граница точно такая же, как и в примере 2, за исключением коэффициента
Рис. 2.22. Поведение дисперсии ошибки при малых ошибках. дискта, а также некоторое представление об условиях, при которых указанная граница будет полезной, можно получить путем исследования типичной функции, изображенной на рис. 2.22. Обозначим
Тогда
Дисперсия оценки
и
Заметим, что если Свойства оценки по максимуму правдоподобия, справедливые при малой ошибке, обычно называют асимптотическими. Одна из процедур для их формального получения заключается в исследовании поведения оценки, когда число независимых наблюдений стремится к бесконечности. При довольно общих условиях можно доказать следующие положения (см., например, Крамер [9]): 1. Решение уравнения правдоподобия (177) сходится по вероятности к точному значению А при 2. Оценка по максимуму правдоподобия является асимптотически эффективной, т. е.
3. Оценка по максимуму правдоподобия является асимптотически гауссовой (нормальной), т. е. Все указанные свойства связаны с поведением оценки по максимуму правдоподобия при больших Здесь уместно поставить логичный вопрос: существуют ли процедуры оценки более оптимальные, чем процедура оценки по максимуму правдоподобия? Разумеется, если не существует эффективной оценки, то возможны несмещенные оценки с меньшими дисперсиями. Трудность заключается в том, что нет общего правила для их отыскания. В конкретной ситуации можно попытаться улучшить оценку по максимуму правдоподобия. Почти во всех случаях, однако, получающееся правило оценки оказывается более сложным, и поэтому в нашей работе с действительными величинами мы придаем особое значение методу максимального правдоподобия. Второй естественный вопрос состоит в том, что не существуют ли более точные нижние границы, чем неравенство Крамера — Рао? Одной из таких границ является граница Баттачари, однако прямо ведущая к цели процедура ее отыскания сопряжена с утомительной вычислительной работой. Граница Крамера — Рао использует Второй границей является граница Баранкина (например, [15]). Два ее основных преимущества состоят в том, что она не требует условия дифференцируемости плотности вероятности и дает точную нижнюю границу. К числу ее недостатков относится то, что для получения границы необходима максимизация по функции, а процедура отыскания этого максимума обычно является весьма сложной. Несколько простых примеров дано в задачах Получим аналогичную границу для среднего квадрата ошибки, когда параметр является случайным. Нижняя граница наименьшего среднего квадрата ошибки при оценке случайного параметра. В этом параграфе мы докажем следующую теорему. Теорема. Пусть а — случайная величина,
Отметим, что плотность вероятности здесь является совместной плотностью и что математическое ожидание берется по а и
3) условное математическое ожидание ошибки при заданном А равно
Мы предполагаем, что
Доказательство теоремы сводится к простой модификации доказательства, приведенного на стр. 77. Умножим обе части (218) на
Теперь проинтегрируем по А:
Согласно допущению 3 левая часть (222) должна быть равна нулю. Остальные этапы доказательства совершенно идентичны. Окончательно получим
или, что эквивалентно,
причем знак равенства имеет место тогда и только тогда, когда
при всех
Заметим, что (226) можно выразить через апостериорную плотность
Дважды интегрируя (227) и подставляя результат в экспоненту получим
при всех Из (228) следует, что апостериорная плотность вероятности величины а должна быть распределена нормально при всех Рассуждая, как и при выводе (193) — (195), убеждаемся, что если
|
1 |
Оглавление
|