6.3. Оценки максимального правдоподобия

В предыдущем разделе рассматривалась байесовская теория оценивания. Одной из наиболее полезных оценок, полученных там, является оценка по максимуму апостериорной плотности вероятности. Значения этой оценки определяются путем максимизации условной плотности

                                                         (6.24)

относительно переменной . Для этой оценки было введено специальное обозначение . Так как безусловная плотность  не зависит от параметра , то значения оценки  могут отыскиваться путем максимизации совместной плотности

                                              (6.25)

относительно . Можно также максимизировать значение натурального логарифма от этой плотности. В этом случае значение оценки  при каждой выборке  является корнем уравнения

.    (6.26)

Предположим теперь, что никаких априорных сведений о параметре  нет. Если бы параметр  был случайным и имел нормальную плотность вероятности

,

то рассматриваемый здесь случай можно было бы получить предельным переходом при неограниченном увеличении дисперсий всех компонент вектора . Так как при этом

;

,

то при  имеем . Таким образом, при отсутствии априорных сведений о параметре можно положить

.                                                                   (6.27)

Получающаяся при этом из ур-ния (6.26) оценка называется оценкой максимального правдоподобия. Она является корнем уравнения

                                                          (6.28)

или, что эквивалентно,

.                                                    (6.29)

Оценка максимального правдоподобия была предложена раньше, чем была развита байесовская теория оценивания [166]. Она определялась как значение параметра , при котором функция правдоподобия  принимает наибольшее значение. Из приведенных выше рассуждений должно быть очевидным, что точность оценки максимального правдоподобия будет хуже, чем байесовской оценки. Несмотря на это, существуют достаточно веские причины, из-за которых использование этой оценки оказывается разумным. Так, довольно часто встречаются задачи оценивания, в которых

-параметр  не является случайным, а его значение неизвестно;

-параметр  является случайным, однако его априорная плотность вероятности неизвестна;

-выражение для апостериорной плотности  [или для ] оказывается настолько сложным, что его трудно использовать для вычислений, в то время как функция правдоподобия  имеет относительно простой вид.

В первом случае вообще нет возможности найти байесовскую оценку, поскольку о плотности вероятности  вообще нельзя говорить. Один из возможных путей преодоления этой трудности состоит в том, чтобы использовать псевдобайесовские оценки. Такие оценки будут рассмотрены в § 6.5.

Пример 6.6. Рассмотрим одну из классических задач оценивания, которая была решена с использованием оценок максимального правдоподобия. Пусть требуется оценить среднее значение и дисперсию нормальной случайной величины по выборке из  независимых наблюдений этой величины. Для наблюдаемой величины при этом имеем

, где

.

В силу независимости наблюдений можно зависать

.

В этой задаче подлежащие оцениванию параметры  и  не являются случайными, так что байесовские оценки найти нельзя.

Случай 1. Будем считать, что значение параметра  известно. В этом случае оценка максимального правдоподобия для среднего значения  является корнем уравнения

Это уравнение имеет единственный корень , который и следует принять в качестве оценки максимального правдоподобия для среднего значения. Так как математическое ожидание этой оценки совпадает со значением оцениваемого параметра, т. е.  то эту оценку называют несмещенной.

Случай 2. Предположим теперь, что значение параметра  известно. Оценка максимального правдоподобия для дисперсии в этом случае является корнем уравнения

.

Решив это уравнение, получаем

.

Эта оценка также является несмещенной, поскольку .

Рассмотрим теперь задачу оценивания стандартного отклонения . Можно предположить, что эта оценка представляется как корень квадратный из оценки для дисперсии. Это действительно так, поскольку оценка

является корнем уравнения

Случай 3. Значения обоих параметров  и  неизвестны. В этом случае оцениваться должны два параметра  и . Вычисляя производные функции правдоподобия по переменным  и , приравнивая их нулю и решая найденную систему из двух уравнений, получаем

;    .

Оценка среднего значения здесь вновь является несмещенной, а среднее значение оценки дисперсии  равно значению оцениваемого параметра, т. е.  в указанных условиях является смещенной. Можно было бы, введя поправку, получить несмещенную оценку , которая не является, однако, более оценкой максимального правдоподобия.

Часто полезно иметь алгоритмы последовательного вычисления оценок  и . Здесь нижние индексы оценок максимального правдоподобия заменены индексом , который указывает объем используемой для оценивания выборки. При объеме выборки, равном , оценка . Поэтому алгоритм последовательного вычисления этой оценки имеет вид . Алгоритм последовательного вычисления оценки  отыскивается несколько сложнее. Воспользуемся уже полеченным ранее выражением для оценки

и выпишем аналогичное выражение для оценки

.

Оценку  теперь представим в рекуррентном виде. Тогда из двух выписанных равенств после немногочисленных алгебраических преобразований получаем

.

Рекуррентные алгоритмы вычисления оценок  и  должны использоваться совместно.

Пример 6.7. Найдем оценку максимального правдоподобия  для параметра  рассматривавшегося в примере 6.1. Теперь плотность вероятности

.

 Оценка максимального правдоподобия определяется как корень уравнения

и имеет вид

.

В рассматриваемом случае можно найти и байесовскую оценку

.

Если принять, что , , то оценка, обеспечивающая минимум среднеквадратической ошибки, совпадает с оценкой максимального правдоподобия. Интересно отметить, что в этом случае оценка с минимальной дисперсией, которая совпадает также с байесовской оценкой при модульной функции стоимости и с оценкой по максимуму апостериорной плотности вероятности, так же, как и оценка максимального правдоподобия, является несмещенной.

Чрезвычайно полезно вычислить корреляционные матрицы вектора ошибок этих двух оценок. Для байесовской оценки такая матрица уже была вычислена и было показано, что

.

Для оценки максимального правдоподобия получаем

.

Если теперь воспользоваться представлением , то

.

Корреляционная матрица вектора ошибок при использовании оценки максимального правдоподобия всегда больше, чем корреляционная матрица вектора ошибок для оценки с минимальной среднеквадратической ошибкой. Эти матрицы совпадают только в том случае, когда .

Полезно рассмотреть также случай, когда матрица  является единичной, т. е . При этом .

Оценка максимального правдоподобия, байесовская оценка и их корреляционные матрицы в этом случае принимают вид

;    ;

;    .

Здесь нельзя ожидать, что оценка максимального правдоподобия окажется достаточно точной, поскольку ее значения просто совпадают со значениями получаемой выборки.

Если объем выборки намного больше размерности оцениваемого параметра , то оценка максимального правдоподобия может оказаться достаточно хорошей. Например, пусть , где  — скалярный параметр, а векторы  и  имеют размерность . Предположим также, что

;    ;

;   

и . Рассматривающиеся здесь оценки и их среднеквадратические ошибки при этом определяются соотношениями

;    ;

;    .

Часто оказывается, что для достаточно больших значений  выполняется неравенство . В этом случае среднеквадратические ошибки обеих оценок будут фактически одинаковы.

Аналогичные результаты можно получить при непрерывном времени для примера 6.3. Если модель наблюдений в последнем примере с дискретным временем трактовать как дискретный аналог следующей модели наблюдаемого процесса

;    .

где  — нормальный белый шум с нулевым средним значением, то, используя обозначения примера 6.3, можно получить

;    .

Отсюда следует, что если вид функции  не изменяется при изменении , то среднеквадратическая ошибка оценивания уменьшается с ростом . Если же энергия сигнала , определяемая как , должна оставаться постоянной при любом значении параметра , то значение среднеквадратической ошибки не зависит ни от длительности , ни от формы сигнала . Если , то среднеквадратическая ошибка байесовской оценки  фактически будет такой же, как и у оценки максимального правдоподобия. Если же это не так и справедливо обратное неравенство , то это означает, что либо имеется достаточно интенсивный шум ( велико), либо имеется хорошая априорная оценка для , с которой можно начать ( мало). Значения оценки с минимальной среднеквадратической ошибкой и среднеквадратическая ошибка этой оценки при этом мало отличаются от соответствующих параметров априорного распределения и можно записать

;

.

Так что в этом случае среднее значение априорного распределения принимается в качестве наилучшей оценки для параметра . В примере 6.5 уже отмечалось, что при больших отношениях сигнал/шум среднеквадратические ошибки оценивания при использовании оценки по максимуму апостериорной плотности и оценки с минимальной среднеквадратической ошибкой практически одинаковы. Из результатов этого примера следует, что при больших значениях отношения сигнал/шум (здесь при ) точность оценок  и  практически такая же, как и у оценки максимального правдоподобия

Пример 6.8. Приведем теперь подробный анализ простой задачи оценивания по методу максимального правдоподобия при наличии окрашенного шума. В процессе решения этой задачи будут проиллюстрированы соображения, которыми можно будет пользоваться при практическом выборе интервала дискретизации. Пусть наблюдению доступны реализации скалярного процесса , , где  — постоянный скалярный параметр, и

;    .

Для решения задачи оценивания параметра  поступим следующим образом. Введем соответствующую модель наблюдений при дискретном времени , , , где период отсчетов  выбирается так, чтобы изменения процесса  на таком интервале были хорошо заметны. Для этой модели имеем

;    .

Наблюдаемый процесс можно теперь записать в векторной форме:

.

Оценка максимального правдоподобия параметра

,

где ковариационная матрица шума  имеет элементы:

,    .

Если объем выборки  достаточно велик, то обращение матрицы  является достаточно сложной с вычислительной точки зрения задачей.

Среднеквадратическая ошибка оценивания при использовании оценки максимального правдоподобия

.

Вычисление этой ошибки при больших значениях  также сопряжено со значительными трудностями обращения матрицы  большого размера. На рис. 6.8 приведен график зависимости среднеквадратической ошибки от объема выборки  (или от периода отсчетов ).

Если период отсчетов выбран достаточно большим, то компоненты вектора шума  можно считать независимыми случайными величинами. Если принять, что , то выражения для оценки и среднеквадратической ошибки примут вид

;    .

Отсюда видно, что среднеквадратическая ошибка оценивания уменьшается обратно пропорционально объему выборки . Может показаться, что при  ошибка стремится к нулю. Однако это не так, поскольку здесь в примере рассматривается окрашенный шум. При больших значениях  компоненты вектора  нельзя считать независимыми. Если объем выборки , то коэффициент корреляции между соседними компонентами шума равен . При  он равен . В обоих случаях имеет место корреляционная связь между компонентами шума. Однако при  эта связь очень мала и можно ожидать, что предположение о независимости компонент шума не приведет к существенной погрешности в вычислениях, хотя оценки при этом оказываются плохими. При  корреляционная связь между компонентами шума достаточно велика и предположение о независимости не является более реалистичным. На рис. 6.8 изображен также график зависимости среднеквадратической ошибки, вычисленной для алгоритма, ориентированного на независимость компонент вектора шума. Как следует из рисунка, уменьшение ошибки оценивания при  (или ) при дальнейшем, даже неограниченном, увеличении объема выборки оказывается незначительным.

Рис. 6.8. Зависимость дисперсии ошибки оценивания от объема выборки (пример 6.8.): 1 - алгоритм, ориентированный на белый шум; 2 - алгоритм, ориентированный на окрашенный шум.

Приведенное выше выражение для  справедливо только в том случае, если компоненты вектора  в самом деле независимы. Истинное значение среднеквадратической ошибки оценивания при использовании оценки  в случае окрашенного шума может быть найдено из соотношения

,

где . Так,

,   

или

;    .

Для частного вида ковариационной матрицы шума, рассматриваемой здесь, при использовании алгоритма оценивания, основывающегося на предположении независимости отсчетов шума, истинная среднеквадратическая ошибка

.

Зависимость этой ошибки оценивания от объема выборки приведена на рис. 6.8. Из рисунка видно, что при объеме выборки  (или ) алгоритм, ориентированный на белый шум, обеспечивает значение среднеквадратической ошибки, лишь незначительно превышающее значение ошибки для алгоритма, ориентированного на окрашенный шум. Поскольку алгоритмы для белого шума намного проще, чем алгоритмы для окрашенного шума, то в практических приложениях можно поступить следующим образом, объем выборки  принять равным 40 и использовать простые алгоритмы оценивания, ориентированные на белый шум, если такая высокая частота отсчетов допустима. Среднеквадратическая ошибка оценивания по выборке объема  при использовании алгоритма для окрашенного шума (когда шум на самом деле окрашен) равна среднеквадратической ошибке оценивания по выборке объема  при использовании алгоритма для белого шума. Отношение этих среднеквадратических ошибок при  равно примерно двум.