5.7. Метод максимума правдоподобия.

Почти так же, как и в конечномерном случае, можно доказать целый ряд общих свойств оценок, например то, что две эффективные оценки одного и того же параметра обязательно должны совпадать с вероятностью 1. Аналогичные методы применимы также к случаю одновременной оценки нескольких параметров. Однако при попытке применения метода максимума правдоподобия к случайным процессам мы сталкиваемся с некоторыми новыми трудностями.

Начнем со следующего результата, доказываемого крайне просто. Предположим, что выполняются следующие три условия:

1) производные почти наверное существуют;

2) при любом выполняются неравенства где и является положительным и конечным при любом

Пусть нам известны независимых реализаций процесса и мы хотим по этим реализациям оценить Обозначая наблюденные реализации символами рассмотрим соответствующую функцию правдоподобия

В таком случае можно показать, что уравнение правдоподобия

имеет решение являющееся при со» стоятельной» асимптотически нормальной и асимптотически эффективной оценкой параметра Доказательство этого факта проводится точно так же, как и соответствующее доказательство в книге Крамера стр 544—547).

В качестве иллюстрации этого результата рассмотрим случайный процесс, примененный Эйнштейном [1] к описанию движения гальки на дне водного потока. Пусть в течение интервала времени мы наблюдаем за одним фиксированным камешком; в каждый отдельный момент времени он, очевидно, может находиться в одном из двух возможных состояний: или двигаться, или неподвижно лежать на дне. Предположим для простоты, что движение осуществляется отдельными рывками, причем продолжительностью каждого такого рывка можно пренебречь (т. е. рывки

можно считать мгновенными). Пусть в момент наш камешек двигается. Остальные моменты времени в которые камешек двигается, распределены на интервале по закону Пуассона с фиксированной интенсивностью Как легко понять, здесь имеет смысл среднего промежутка времени, в течение которого камешек неподвижно лежит на дне.

Рис. 1.

Обозначим расстояния, пройденные камешком в моменты через (см. рис. 1); при этом будут независимыми случайными величинами, принимающими только положительное значение с плотностью вероятности где параметр, равный среднему расстоянию, преодолеваемому за один рывок. Пусть нам известны результаты независимых наблюдений над различными камешками одного размера и мы хотим по этим данным оценить параметр Распределение вероятностей в пространстве координат задается следующей вероятностью попадания в элемент объема

где положено Занумеровав координаты, отвечающие различным реализациям, индексами

мы придем к следующей плотности распределения в пространстве координат, описывающих все реализации:

Исходя отсюда, легко определить распределение вероятностей величины - суммарной длины пути, пройденного камешком. Нам понадобятся здесь только первые четыре момента этого распределения, которые равны:

где — обычные моменты, — центральные. Оценка наибольшего правдоподобия параметра находится очень просто; она равна

При очевидно, но так как при вероятность того, что стремится к нулю, то это

обстоятельство практически не существенно. Из приведенного выражения для следует, что

где независимые случайные величины, распределенные по закону Пуассона со средним значением В силу центральной предельной теоремы величина будет распределена асимптотически нормально со средним значением 0 и дисперсией Так как при величина стремится по вероятности к то (в силу теоремы параграфа 20.6 книги Крамера [4]) оценка будет асимптотически нормальной со средним значением и дисперсией, близкой при больших значениях к у. Для проверки эффективности этой оценки отметим, что

Отсюда сразу видно, что является асимптотически эффективной оценкой.

Мы считали здесь координатами процесса моменты времени, в которые происходили рывки, и длины этих рывков; однако наша оценка из данных, относящихся к каждой отдельной реализации, использовала лишь число наблюденных рывков. В работе Эйнштейна наблюдались лишь величины по-видимому, в случае изучения наносов величины практически невозможно наблюдать. Поскольку в каких-либо других приложениях того же случайного процесса это может оказаться возможным (но трудным), то интересно выяснить, насколько же уменьшается эффективность оценки параметра если пользоваться одними только

значениями Рассмотрим следующую оценку по значениям полученную Эйнштейном с помощью метода моментов:

где

Рассматривая как функцию от выборочных моментов, найдем

где индекс 0 обозначает величины, полученные при подстановке значений в выражения, заключенные в скобки, и в правом столбце обозначают центральные моменты величин, указанных в скобках. Воспользовавшись теоремой § 28.4 книги Крамера [4], легко показать, что величина в данном случае распределена асимптотически нормально со средним значением 0 и дисперсией

Таким образом, эффективность оценки Эйнштейна равна

Рассмотрим еще следующий, близкий к предыдущему, случайный процесс, встретившийся в одной задаче

медицинской статистики. Пусть мы исследуем наличие или отсутствие явления А на интервале, который мы, как обычно, обозначим через хотя в данном случае наш параметр на самом деле обозначает не время, а координату на прямой. Предположим, что при наблюдается А (т. е. А не наблюдается); в качестве выборочного пространства мы примем пространство функций, принимающих только значения 0 (при наблюдении и 1 (при наблюдении А) и таких, что при они обязательно равны 0. В качестве координат процесса мы примем числа где означают моменты изменения состояния и число начальных точек для состояния число конечных точек для того же состояния. Ясно, что или в зависимости от того, будет ли при наблюдаться соответственно состояние А или А. Предположим, что длина каждого -интервала (соответственно -интервала) имеет плотность распределения (соответственно . В таком случае распределение вероятностей будет задаваться следующей вероятностью попадания в элемент объема координатного пространства:

при

при здесь мы положили

Вводя суммарную длину всех -интервалов, мы найдем, что в первом случае и во втором случае. Аналогичные формулы имеют место и для суммарной длины А всех -интервалов. В обоих случаях распределение вероятностей можно записать в виде

Повторив наш опыт раз независимо друг от друга, мы придем к следующим оценкам наибольшего правдоподобия:

Величины в знаменателях этих оценок дают суммарное время, в течение которого можно было опасаться, что соответствующее состояние ( — в первом случае и А — во втором) изменится на противоположное, а выражения в числителях определят число случаев, в которых происходило такое изменение.