Главная > Теория обнаружения, оценок и модуляции, Т.1
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

2.4.2. Оценка действительных (неслучайных) параметров

Во многих случаях бывает нереалистичным рассматривать неизвестный параметр как случайную величину. Формулировка этой задачи, приведенная в § 2.4, все еще остается приемлемой. Однако теперь параметр предполагается неслучайным, и нам необходимо построить процедуру оценки, оптимальную в некотором смысле.

Самым первым логичным шагом было бы попытаться видоизменить байесовскую процедуру, описанную в § 2.4.1, с тем чтобы исключить среднее по . В качестве примера рассмотрим критерий среднего квадрата ошибки

где математическое ожидание берется только по поскольку это единственная случайная величина в нашей модели. Минимизируя получим

Полученный ответ правилен, однако не имеет никакой практической ценности, поскольку А является неизвестной величиной, которую мы пытаемся определить. Таким образом, такой прямой подход к решению задачи оказывается неплодотворным. Более полезный метод в ситуации с неслучайным параметром — это исследовать другие возможные меры качества процедур оценки, а затем посмотреть, нельзя ли найти оценки, которые являются оптимальными с точки зрения указанных критериев.

Первой такой мерой качества, которую нам предстоит рассмотреть, служит математическое ожидание оценки

Возможные значения математического ожидания можно сгруппировать в три различных класса:

1. Если при всех значениях то мы говорим, что оценка является несмещенной. Это утверждение означает, что среднее значение оценок равно величине, которую мы пытаемся оценить.

2. Если где В не зависит от то мы говорим, что оценка имеет известное смещение. Мы всегда можем получить несмещенную оценку путем вычитания В из

3. Если мы говорим, что оценка имеет неизвестное смещение. Так как смещение зависит от неизвестного параметра, мы не можем просто вычесть его из оценки.

Совершенно ясно, что даже несмещенная оценка может дать плохой результат в конкретном испытании. Простой пример иллюстрируется рис. 2.21. Плотность вероятности оценки центрируется около однако дисперсия этой плотности настолько велика, что возможны большие ошибки.

Второй мерш качества является дисперсия оценки

Она дает меру рассеяния ошибки. Вообще говоря, мы можем попытаться найти несмещенные оценки с малыми дисперсиями. Простой процедуры минимизации, которая приводила бы к несмещенной оценке с минимальной дисперсией, не существует. Поэтому мы вынуждены испытывать процедуру оценки, чтобы убедиться, насколько она оптимальна.

Рис. 2.21. Плотность вероятностей для оценки.

Оценка по максимуму правдоподобия. Существует несколько путей для обоснования процедуры оценки, которую мы будем использовать. Рассмотрим простейшую задачу оценки, намеченную в примере 1. Напомним, что

Выберем в качестве нашей оценки такое значение которое с наибольшей вероятностью обусловило то, что имело место именно данное значение В этом простом аддитивном случае мы видим, что такой выбор равносилен выбору наиболее вероятного значения шума и вычитанию его из Назовем значение полученное при помощи этой процедуры, оценкой по максимуму правдоподобия

В общем случае функцию рассматриваемую как функцию величины А, называют функцией правдоподобия. Часто приходится иметь дело с логарифмом этой функции именуемой логарифмической функцией правдоподобия. Оценка по максимальному правдоподобию это такое значение величины А, при котором функция правдоподобия максимальна. Если максимум лежит внутри области изменения величины А, а функция имеет непрерывную первую производную, то необходимое условие, налагаемое

на получают посредством дифференцирования по А и приравнивания результата нулю:

Это уравнение называется уравнением правдоподобия. Из сравнения (137) и (177) следует, что оценка по максимуму правдоподобия математически соответствует предельному случаю оценки по максимуму апостериорной вероятности, когда количество априорной информации стремится к нулю.

Для того чтобы проверить, насколько эффективна процедура оценки по максимуму правдоподобия, можно вычислить смещение и дисперсию оценки. Это часто бывает затруднительно сделать. Поэтому вместо прямого подхода к решению задачи мы сначала выведем выражение для нижней границы дисперсии любой несмещенной оценки. Затем произведем сравнение дисперсии с ее нижней границей.

Неравенство Крамера — Рао. Неслучайные параметры. Нам необходимо рассмотреть дисперсию любой оценки действительной переменной А. Докажем следующее утверждение.

Теорема а) Если есть любая несмещенная оценка величины А, то

или, что эквивалентно, б)

где предполагается, что удовлетворяются следующие условия: в) производные

существуют и абсолютно интегрируемы.

Указанные неравенства впервые были сформулированы Фишером [6] и доказаны Дюгуа Они были также выведены Крамером [9] и Рао [12] и обычно называются границей Крамера — Рао. Любая оценка, удовлетворяющая указанной границе со знаком равенства, называется эффективной оценкой.

Доказательство этого положения проводится простым использованием неравенства Буняковского — Шварца: Так как оценка является несмещенной, то

Дифференцируя обе части по А, имеем

где условие позволяет нам выполнить дифференцирование под знаком интеграла. Тогда

Первый интеграл равен просто +1. Заметим теперь, что

Подставляя (183) в (182), получим

Переписав (184), имеем

и, используя неравенство Буняковского — Шварца, получим

Было учтено, что в соотношении Буняковского — Шварца равенство выполняется тогда и только тогда, когда

для всех Мы видим, что два члена левой части (186) суть математические ожидания в утверждении (а) (178). Таким образом,

Для доказательства утверждения заметим, что

Дифференцируя по имеем

Вновь дифференцируя по и применяя (183), получим

или

что совместно с (188) дает условие

Относительно этого результата следует сделать ряд важных замечаний.

1. Он показывает, что любая несмещенная оценка должна иметь дисперсию больше, чем некоторое число.

2. Если (187) удовлетворяется, то оценка будет удовлетворять границе со знаком равенства. Покажем это путем совместного использования (187) и (177). Левое равенство является уравнением правдоподобия. Правое равенство есть не что иное, как (187):

Чтобы правая часть была равна нулю, необходимо либо

либо

Так как мы ищем решение, которое зависит от результатов наблюдения, то исключаем (195) и требуем выполнения (194).

Итак, если эффективная оценка существует, то это и есть и ее можно получить как единственное решение уравнения правдоподобия.

3. Если эффективной оценки не существует [т. е. нельзя привести к виду (187)], то мы не знаем, насколько оптимальной

является оценка Кроме того, мы не знаем, насколько близко дисперсия любой оценки будет приближаться к границе.

4. Чтобы использовать границу, нужно убедиться, что рассматриваемая оценка является несмещенной. Аналогичные границы могут быть просто получены для смещенных оценок (задача 2.4.17).

Применение процедуры оценки по максимуму правдоподобия и неравенства Крамера — Рао можно проиллюстрировать на примерах 2, 3 и 4. Модель наблюдения является идентичной. Теперь, однако, предполагается, что параметры, подлежащие оценке, суть неслучайные величины.

Пример 2. Из (138) имеем

Логарифмируя (139) и дифференцируя результат по А, получим

Таким образом,

Для отыскания смещения вычислим математическое ожидание от обеих частей (198):

так что оценка несмещенная.

Поскольку выражение (197) имеет вид, требуемый уравнением (187), то мы знаем, что есть эффективная оценка. Чтобы оценить дисперсию, продифференцируем (197):

Используя (179) и тот факт, что рассматриваемая оценка эффективная имеем

Пропустим пока пример 3 и сразу перейдем к примеру 4.

Пример 4. Дифференцируя логарифм (162), получим

Оценка по максимуму правдоподобия равна

Она, очевидно, является несмещенной и эффективной. Для получения дисперсии продифференцируем (202):

Таким образом,

В примерах 2 и 4 мы видим, что оценки по максимуму правдоподобия можно было бы получить из оценок по максимуму апостериорной вероятности [положив в (144) и вспомнив, что а также положив в (169)].

Вернемся теперь к примеру 3.

Пример 3. Из первого члена экспоненты (160) имеем

Вообще говоря, правую часть невозможно записать в виде, требуемом уравнением (187), и, следовательно, несмещенной эффективной оценки не существует. Уравнение правдоподобия имеет вид

Если область изменения величины включает существует решение

Если (208) может быть удовлетворено, то

[Заметим, что (209) косвенно предполагает, что существует. Если не существует, то тогда даже в отсутствие помехи мы не сможем определить А однозначно. Если бы мы проектировали систему, то всегда бы выбирали позволяющее найти А однозначно в отсутствие помех.] Когда область изменения величины не включает максимум находится на граничной точке области.

Мы видим, что оценка по максимуму правдоподобия коммутативна относительно нелинейных операций. (Это несправедливо для оценок по минимуму среднего квадрата ошибки и по максимуму апостериорной вероятности.) Если оценка является несмещенной, то находим границу дисперсии посредством дифференцирования (206):

Замечая, что

получим следующую границу для любой несмещенной оценки:

Эта граница точно такая же, как и в примере 2, за исключением коэффициента Интуитивное обоснование необходимости этого коэффициент

Рис. 2.22. Поведение дисперсии ошибки при малых ошибках.

дискта, а также некоторое представление об условиях, при которых указанная граница будет полезной, можно получить путем исследования типичной функции, изображенной на рис. 2.22. Обозначим

Тогда

Дисперсия оценки равна просто Однако, если ошибка при оценке настолько мала, что крутизна постоянна, то

и

Заметим, что если велико, то простого линейного соотношения между и не будет. Это позволяет судить об условиях, при которых граница Крамера — Рао дает точный ответ, если параметр входит в условия задачи нелинейным образом. В частности, если ошибка оценки мала по сравнению с то следует ожидать, что фактическая дисперсия будет близка к границе дисперсии, определяемой неравенством Крамера — Рао.

Свойства оценки по максимуму правдоподобия, справедливые при малой ошибке, обычно называют асимптотическими. Одна из процедур для их формального получения заключается в исследовании поведения оценки, когда число независимых наблюдений стремится

к бесконечности. При довольно общих условиях можно доказать следующие положения (см., например, Крамер [9]):

1. Решение уравнения правдоподобия (177) сходится по вероятности к точному значению А при Любая оценка с этим свойством называется состоятельной. Таким образом, оценка по максимуму правдоподобия является состоятельной.

2. Оценка по максимуму правдоподобия является асимптотически эффективной, т. е.

3. Оценка по максимуму правдоподобия является асимптотически гауссовой (нормальной), т. е.

Все указанные свойства связаны с поведением оценки по максимуму правдоподобия при больших Они дают некоторое обоснование для использования оценки по максимуму правдоподобия даже тогда, когда эффективной оценки не существует.

Здесь уместно поставить логичный вопрос: существуют ли процедуры оценки более оптимальные, чем процедура оценки по максимуму правдоподобия? Разумеется, если не существует эффективной оценки, то возможны несмещенные оценки с меньшими дисперсиями. Трудность заключается в том, что нет общего правила для их отыскания. В конкретной ситуации можно попытаться улучшить оценку по максимуму правдоподобия. Почти во всех случаях, однако, получающееся правило оценки оказывается более сложным, и поэтому в нашей работе с действительными величинами мы придаем особое значение методу максимального правдоподобия.

Второй естественный вопрос состоит в том, что не существуют ли более точные нижние границы, чем неравенство Крамера — Рао? Одной из таких границ является граница Баттачари, однако прямо ведущая к цели процедура ее отыскания сопряжена с утомительной вычислительной работой. Граница Крамера — Рао использует Если эффективной оценки не существует, то можно получить более точную нижнюю границу, которая связана с частными производными более высокого порядка. Простые выводы этой границы приведены в [13 и 14], а также в задачах представляющих для нас интерес случаях практическое использование этой границы сопряжено с большим объемом вычислений.

Второй границей является граница Баранкина (например, [15]). Два ее основных преимущества состоят в том, что она не требует условия дифференцируемости плотности вероятности и дает точную нижнюю границу. К числу ее недостатков относится то, что для получения границы необходима максимизация по функции, а процедура отыскания этого максимума обычно является весьма сложной. Несколько простых примеров дано в задачах большей части наших рассуждений используется граница Крамера — Рао.

Получим аналогичную границу для среднего квадрата ошибки, когда параметр является случайным.

Нижняя граница наименьшего среднего квадрата ошибки при оценке случайного параметра. В этом параграфе мы докажем следующую теорему.

Теорема. Пусть а — случайная величина, вектор, представляющий результат наблюдения. Средний крадрат ошибки любой оценки удовлетворяет неравенству

Отметим, что плотность вероятности здесь является совместной плотностью и что математическое ожидание берется по а и Предполагается, что выполняются следующие условия:

3) условное математическое ожидание ошибки при заданном А равно

Мы предполагаем, что

Доказательство теоремы сводится к простой модификации доказательства, приведенного на стр. 77. Умножим обе части (218) на а затем продифференцируем по А:

Теперь проинтегрируем по А:

Согласно допущению 3 левая часть (222) должна быть равна нулю. Остальные этапы доказательства совершенно идентичны. Окончательно получим

или, что эквивалентно,

причем знак равенства имеет место тогда и только тогда, когда

при всех (В случае детерминированной переменной величины мы использовали неравенство Буняковского — Шварца применительно к интегралу по так что постоянный множитель мог быть функцией величины А. Теперь интегрирование осуществляется по так что не может быть функцией А.) Повторное дифференцирование приводит к эквивалентному условию

Заметим, что (226) можно выразить через апостериорную плотность

Дважды интегрируя (227) и подставляя результат в экспоненту получим

при всех

Из (228) следует, что апостериорная плотность вероятности величины а должна быть распределена нормально при всех для того, чтобы существовала эффективная оценка. (Заметим, что функции

Рассуждая, как и при выводе (193) — (195), убеждаемся, что если удовлетворяется, то оценка по максимуму апостериорной вероятности будет эффективной. Поскольку оценка по минимуму среднего квадрата ошибки не может иметь большей ошибки, то это свидетельствует о том, что всегда, когда существует эффективная оценка. С точки зрения техники, когда эффективная оценка заведомо существует, как правило, решение уравнения максимума апостериорной вероятности сопряжено с меньшим объемом вычислений, чем отыскание условного среднего. Когда же эффективной оценки заведомо не существует, то какую бы оценку мы ни использовали —

или нам неизвестно, насколько близко подходит средний квадрат ошибки к своей нижней границе. Можно вывести асимптотические выражения, аналогичные асимтотическим результатам для действительных переменных.

1
Оглавление
email@scask.ru