4. Оценки по максимальному правдоподобию

В задаче оценок, когда функция цены не может быть указана, естественный метод выбора стратегии оценок состоит в том, чтобы максимизировать функцию плотности апостериорной вероятности (7.5). Поэтому в качестве оценки можно принять такую систему значений параметра, которая с точки зрения значений х, полученных при измерении, является наиболее правдоподобной. Например, оценка среднего значения нормального распределения, данная в (7.13), такова, что обращает функцию апостериорного распределения вероятностей (7.12) в максимум.

Однако этот способ оценки также зависит от априорного распределения неизвестных параметров, а эта функция тоже может быть недоступной. Но если предварительные сведения о параметрах недостаточны и априорное распределение имеет большую дисперсию, значения , для которых функция апостериорной вероятности имеет максимум (7.5), очень близки к тем, для которых числитель функции совместного распределения вероятностей [формулы (7.5)] принимает наибольшее значение. Функция рассматриваемая как функция параметров для данной системы измерений х, имеет пик вблизи , и если дисперсия функции распределения сравнительно велика, этот пик будет лишь незначительно искажаться множителем в формуле (7.5).

Эти утверждения становятся точнее, если априорное распределение делается более равномерным и если предварительные сведения о значениях параметров становятся более

неопределенными. Таким образом, мы приходим к выводу, что в качестве оценок параметров а можно принять значения, которые максимизируют функцию плотности совместного распределения вероятностей Эта процедура дает так называемую оценку по максимальному правдоподобию.

Оценка по максимальному правдоподобию может быть найдена при решении системы уравнений

Вообще говоря, существует много корней этих уравнений и нужно взять такую систему решений которая дает наибольший пик функции . В нашем примере оценки среднего значения нормального распределения легко показать, используя (7.10), что оценка по максимальному правдоподобию равна выборочному среднему

Как было указано в предыдущем разделе, эта оценка является несмещенной и эффективной. Можно показать, что если эффективная оценка существует, то она является оценкой по максимальному правдоподобию, но не все оценки по максимальному правдоподбию или несмещенные, или эффективные. Доказательство приведенных выше утверждений для оценки одного параметра а непосредственно следует из двух условий, данных в разд. 3 и выполняющихся для эффективной оценки. При выполнении первого условия функция распределения вероятностей может быть записана также, как в (7.21). Чтобы найти максимально правдоподобное значение, производную выражения (7.21) или его логарифма следует приравнять нулю. При выполнении второго условия получаем уравнение Решение этого уравнения показывает, что оценка является максимально правдоподобной. [Решение написанного выше уравнения, полученное при не будет являться оценкой, так как множитель не зависит от ] В случае нескольких параметров доказательство проводится подобным же образом.

Можно показать [2], что максимально правдоподобная оценка является асимптотически нормальной, несмещенной и эффективной. Когда число независимых измерений велико, распределение вероятностей оценок является близким к нормальному со средним значением а, почти равным истинному среднему а, и с дисперсией, которая для оценки одного параметра приближенно дается правой частью неравенства (7.19). Чем больше число независимых измерений, тем лучше эти приближения. Так как функция распределения оценок при увеличении числа быстро сжимается около истинного значения а, оценки являются состоятельными, вероятность что наибольшая ошибка больше определенного числа , стремится к нулю при При использовании максимально правдоподобных оценок для оценки параметров сигнала найдем, что условия асимптотической нормальности и состоятельности выполняются в пределе, при большом отношении сигнал/шум.

В большинстве задач об оценках желательно, чтобы получалось одно и то же значение параметра а независимо от того, производится ли оценка непосредственно или же некоторой монотонной функции этого параметра. Например, если оценивается и затем извлекается квадратный корень желательно получить тот же результат, что и при прямой оценке а. Максимально правдоподобные оценки обладают этим свойством. Но оценка по максимуму функции плотности апостериорной вероятности (7.5) параметра при некотором априорном распределении вообще говоря, не дает той же оценки, которая получается при максимизации апостериорной вероятности некоторой функции параметра из-за различного веса, приписываемого разным областям значений параметров. Обсуждение этого вопроса, а также применение максимально правдоподобных оценок к физическим измерениям дано в статье [3].

Применим метод максимального правдоподобия для решения задачи, поставленной в начале этой главы, — оценки параметров сигнала приходящего в смеси с белым гауссовым шумом. Обращаясь к (7.2), мы видим, что системой параметров, максимизирующей совместное распределение вероятностей является такая

система, которая минимизирует сумму квадратов в показателе экспоненты этой функции

Таким образом, когда шум гауссов и белый, максимально правдоподобная оценка эквивалентна классическому методу наименьших квадратов. В -мерном декартовом пространстве измерений точка с координатами является центром распределения вероятностей измерений Гауссова функция плотности распределения вероятностей принимает наибольшее значение в центре и имеет уменьшающиеся значения на концентрических гиперсферах. Метод максимального правдоподобия приводит центр этого распределения подходящим выбором значений параметров сигнала так близко к точке, изображающей результаты измерения х, как это допускает функциональная форма сигнала Наблюдатель действует в предположении, что система значений шума получающаяся в каком-либо испытании, лежит в области наибольшей плотности вероятности, согласующейся с данной формой сигнала.

Если увеличивать число образцов и уменьшать интервал времени, разделяющий их, применение метода наименьших квадратов или максимального правдоподобия будет соответствовать выбору значений параметров и , минимизирующих интеграл

где сигнал на входе, наблюдаемый в течение интервала Если шум гауссов и имеет функцию автоковариации использование максимально правдоподобной оценки параметров сигйала эквивалентно минимизации квадратичной формы

где решение интегрального уравнения

Уравнение (7.24) имеет форму, позволяющую использовать следствия соображений, подобных приведенным в конце разд. 3 гл. 4.

Чтобы оценить параметры сигнала нужно минимизировать форму

Дифференцируя получаем для максимально правдоподобных оценок ввиду симметрии функции автоковариации уравнение

Оно эквивалентно уравнению

в котором решение интегрального уравнения

{ср. (4.48)]. Так как форма написанная выше, при большом числе образцов пропорциональна можно показать, что в случае оценки одного параметра а

Эти результаты принадлежат Слепяну [5], рассмотревшему применение максимально правдоподобных оценок для измерения параметров сигнала. Когда шум белый и гауссов,

решение уравнения (7.27) имеет вид и уравнение максимального правдоподобия получается в виде

Окончательно

где - спектральная плотность мощности шума.

В качестве простого примера применения этого метода оценим амплитуду А сигнала известной формы в гауссовом шуме с функцией автоковариации Если наблюдаемая на входе сумма сигнала и шума есть уравнение (7.26) записывается в виде

и максимально правдоподобной оценкой А амплитуды сигнала будет

где решение интегрального уравнения

Для сигнала в белом шуме оценка амплитуды дается формулой

Так как среднее значение входного сигнала среднее значение оценки амплитуды и оценка, даваемая (7.29), является несмещенной. Дисперсия оценки может быть найдена при использовании уравнения (4.52). Находим

Для белого шума формула (7.31) принимает вид

Таким образом, относительная ошибка в оценке амплитуды сигнала обратно пропорциональна отношению сигнал/шум. Используя (7.28), можно показать, что (7.19) превращается в равенство и оценка по формуле (7.29) является эффективной. Максимально правдоподобные оценки, являющиеся линейными функциями измерений, будут вообще всегда эффективными.

Оценку амплитуды сигнала можно получить, пропуская входное колебание через фильтр, согласованный с сигналом причем является решением интегрального уравнения (7.30). Импульсная характеристика этого фильтра дается формулой (4.50). Оценка А пропорциональна значению напряжения на выходе фильтра в конце интервала наблюдения.

В следующух главах мы будем искать максимально правдоподобные оценки и, где это возможно, определять дисперсию этих оценок в пределе, при большом отношении сигнал/шум, для которого максимально правдоподобные оценки асимптотически нормальны и эффективны. Эти асимптотические оценки оказываются полезными приближениями, когда отношение сигнал/шум настолько велико, что наблюдатель уверен, что сигнал есть, например, при вероятности обнаружения 90% и больше.

ЛИТЕРАТУРА

(см. скан)

(см. скан)