11.2. ОЦЕНИВАНИЕ ПО МЕТОДУ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Основные аснекты оценивания по методу максимального правдоподобия упоминались в разд. 2.2 и 5.2. Условием применения этого способа оценивания является наличие априорной информации о плотности вероятности дискретной реализации у. Функциональные связи будут записываться как если известно и интерес представляет и как если у известно (наблюдается), и нужно получить оценку

Оценкой максимального правдоподобия величины называется величина, максимизирующая функцию т. е. удовлетворяющая необходимому условию

Нужно найти абсолютный максимум

Проиллюстрируем этот метод простым примером. Пусть подлежащий оцениванию параметр, а независимый дискретный аддитивный шум с характеристиками

Наблюдается последовательность

Отсюда для функции правдоподобия получаем

или, логарифмируя, имеем

Приравнивание производной к нулю дает

откуда, как легко было предвидеть для этого простого случая,

В виде упражнения и для сравнения с методом Байеса стоит вернуться к примеру из предыдущего раздела (фиг. 11.3) и вычислить для него оценку максимального правдоподобия.

В разд. 5.2 указывалась связь между оценками максимального правдоподобия, марковскими оценками и оценками по методу наименьших квадратов.

Достижимая точность

Выражение для точности оценивания по методу максимального правдоподобия в терминах дисперсий и ковариации можно получить несколькими способами [22]. Рассмотрим функцию правдоподобия для к наблюдений в случае одномерного параметра

причем

Дифференцированием по получаем уравнение

которое можно записать как

Дифференцируя еще раз, получаем

или

Теперь рассмотрим как оценку

где возможное смещение оценки. Дифференцируя, получаем

или с учетом формул (11.25а) и (11.28) имеем

Из неравенства Коши — Шварца следует, что

С помощью формул (11.28) и (11.27) отсюда получаем

Это неравенство Крамера [12]. Для несмещенных оценок и

для смещенной оценки и

В многомерном случае для несмещенной оценки можно получить (см. приложение В)

где

Матрица называется информационной (Фишер).

Для применения неравенства Крамера — Рао рассмотрим следующую модель:

откуда для функции правдоподобия получается

Следовательно, ковариация ограничена величиной

Интересно сравнить это выражение с формулой (6.47), ковариацией марковской оценки. Учитывая, что марковская оценка минимизирует дисперсию, и соответствие

марковской и максимально правдоподобной оценок при гауссовском шуме, можно не удивляться результатам этого сравнения.

Символ в (11.35) был опущен в соответствии с предположением, что и измеряется без ошибок. Следовательно, известна апостериори. Если желательно иметь априорную информацию относительно и сигнал и (априори) является случайным, оператор математического ожидания опускать нельзя. Когда белый шум,

и

Продолжим обсуждение достижимой точности простым примером — задачей оценивания двух параметров в случае, когда представляет собой ту же самую дискретную последовательность, что и сдвинутую во времени на один шаг. В случае эргодического

и выражение для минимальной ковариации принимает вид

При внедиагональные элементы представляют корреляцию ошибок в С помощью простых преобразований можно перейти к рассмотрению дисперсий компонент вектора например

Следовательно,

Фиг. 11.5.

Теперь внедиагональные члены равны нулю, и компоненты 7 пекоррелированы. Это положение иллюстрируется на фиг. 11.5, где приведен так называемый эллипсоид рассеивания. Рисунок дает наглядное представление точности, с которой могут быть определены параметры с учетом корреляции ошибок. С ростом числа выборочных значений к эллипсоид рассеивания стягивается в точку поскольку к входит в знаменатель (11.39).

Некоторые важные свойства

При постоянном размере выборки несмещенная оценка называется эффективной, если в соотношении Крамера — Рао (11.32) имеет место знак равенства. Эффективность определяется как

Оценка называется достаточной, если

Согласно результатам Крамера [12], если эффективная оценка параметра существует, то уравнение правдоподобия имеет единственное решение ; если существует

достаточная оценка параметра то любое решение уравнения правдоподобия является функцией

Отметим, что все оценки максимального правдоподобия либо несмещенные, либо эффективные.

При растущем размере выборки к можно изучать асимптотическое поведение Если оценка сходится по вероятности к при к то она называется состоятельной;

Здесь сколь угодно малое положительное число. Любая максимально правдоподобная оценка состоятельна. В работе [4] предложено называть объект идентифицируемым, если оценка состоятельна. Необходимым условием является положительная определенность информационной матрицы, связанной с процессом оценивания.

Если эффективность при то оценка называется асимптотически эффективной. Можно показать, что оценки максимального правдоподобия асимптотически эффективны. Кроме того, они обладают свойством асимптотической нормальности, т. е. их распределение приближается к нормальному со средним и дисперсией