5.9. Метод максимума правдоподобия (продолжение).

Для того чтобы метод максимума правдоподобия приводил к оценке, обладающей оптимальными свойствами, также и в случае, когда известна одна-единственная реализация процесса, относящаяся зато к очень длинному промежутку времени, нам придется наложить на процесс, кроме условия метрической транзитивности, еще одно условие. Это новое условие будет ограничивать не степень зависимости прошлых и будущих значений процесса, а характер этой зависимости. смотрим значения процесса во все последующие за моменты времени. Пусть реализация процесса нам известна на интервале где в таком случае мы можем говорить об условном распределении вероятностей для процесса Если существует число (меньшее ) такое, что это условное распределение зависит лишь от значений процесса на интервале мы будем говорить, что процесс является обобщенно марковским.

К этому типу процессов, очевидно, будут принадлежать как обычные марковские процессы, так и процессы, для которых условное распределение вероятностей полностью задается

значениями самого процесса и всех его производных до некоторого порядка включительно в последний момент времени, в который производились наблюдения. В случае процессов с дискретным временем обобщенно марковскими будут обычные цепи Маркова и цепи Маркова некоторого конечного порядка.

В дальнейшем мы будем предполагать, что условные распределения могут быть определены так, чтобы они почти наверное были распределениями вероятностей, и что функции правдоподобия удовлетворяют условиям, аналогичным тем, которые были указаны в начале § 5.7 (мы опять рассматриваем только регулярный случай). Пусть наблюдения над процессом производились в течение интервала времени где целое положительное число. Обозначим через реализацию процесса в течение интервала

Будем предполагать, что используемые координаты одни и те же для всех и пусть — выборочное пространство реализаций

Рассмотрим произвольное множество и еще одно множество Пусть - функция правдоподобия; в таком случае в силу самого определения условных распределений вероятностей мы будем иметь

Обозначая

мы получим (см. Дуб [2])

для любого Следовательно, почти наверное

откуда вытекает, что отношение

почти наверное не зависит от Так как мы предположили, что рассматривается регулярный случай, то знаменатель здесь с вероятностью 1 отличен от нуля. Воспользуемся теперь тем, что

Так же как и выше, можно показать, что все отношения в правой части зависят лишь от двух последних символов входящих в эти отношения. Следовательно, наше последнее равенство можно переписать в виде

В силу стационарности процесса мы можем опустить индексы при функциях

Отсюда вытекает, что

и, повторяя рассуждения, приведенные на стр. 544—547 книги Крамера [4] (и используя аналогичные обозначения) мы получим уравнение правдоподобия в виде

где

В силу эргодической теоремы для метрически транзитивного процесса при эти выражения будут стремиться по вероятности к соответствующим средним значениям. Но

Полагая здесь

(мы предполагаем, что ; иначе мы будем иметь тривиальный случай), получаем

Следовательно, при

(сходимость по вероятности!). Теперь, так же как в книге Крамера [4], можно показать, что существует состоятельная

оценка наибольшего правдоподобия, причем

где им сходится по вероятности к единице при Но имеет нулевое среднее значение, а ее дисперсия равна

Воспользовавшись данным Вальдом [1] определением асимптотической эффективности, можно сказать, что мы доказали, что в рассматриваемом случае оценка наибольшего правдоподобия является состоятельной и асимптотически эффективной.