9.6. Метод максимального правдоподобия

Метод, о котором пойдет речь, получил, пожалуй, наибольшее распространение в практике научных исследований. Он является весьма эффективным средством решения задачи оценивания параметров случайного процесса по данным наблюдений при известном виде законов распределения соответствующих случайных выборок, зависящих от оцениваемых параметров.

На первый взгляд может показаться, что необходимость знания вида этих законов распределения является слишком жестким ограничением для практического применения рассматриваемого метода. Однако, как станет ясно из дальнейших рассуждений, этот метод позволяет получать состоятельные, асимптотически несмещенные и асимптотически нормальные оценки неизвестных параметров даже в тех случаях, когда теоретический и фактический законы распределения случайных выборок изучаемого случайного процесса не совпадают.

Идея этого метода состоит в следующем. Пусть -мерная функция плотности вероятностей

изучаемого -мерного случайного процесса , зависящего от -мерного вектора неизвестных параметров , определяет этот процесс на множестве С Т единственным образом. Если воспользоваться функцией определяемой равенством (9.30), то из теоремы 9.1 можно заключить, что в рассматриваемом случае для любого выполняется неравенство

откуда

Для практического использования этого результата в последнем равенстве заменим математическое ожидание его оценкой, определяемой по данным наблюдений, представленным множеством Тогда с учетом (9.1), (9.2), (9.14), (9.16) получим

где — оценка вектора неизвестных параметров

Такой метод оценивания, известный как метод максимального правдоподобия, был предложен К. Гауссом. Оценку вектора неизвестных параметров называют оценкой максимального правдоподобия (или максимально правдоподобной оценкой), а функцию

функцией максимального правдоподобия. В рассматриваемом случае оценку максимального правдоподобия вектора неизвестных параметров (3 определяют из уравнения

и записывают так:

Если данные наблюдений представлены множеством то с учетом (9.4) и (9.18) функцию максимального правдоподобия можно записать следующим образом:

А так как в рассматриваемом случае множество является реализацией соответствующей случайной выборки объема М для изучаемого случайного процесса , зависящего от вектора неизвестных параметров , то с учетом (9.36) оценка максимального правдоподобия равна

Из (9.34), (9.36) и (9.35), (9.37) видно, что влияние специфики данных наблюдений на формальную процедуру определения оценок максимального правдоподобия для вектора неизвестных параметров не является принципиально значимым для дальнейшего изложения. Поэтому, исходя исключительно из соображений компактности наглядности представления материала, ограничимся данными наблюдений, представленными множеством

В литературе по математической статистике функцией максимального правдоподобия принято называть совместную функцию плотности вероятностей случайной выборки [XVII]. А так как при решении теоретических и практических задач, как правило, используют не саму функцию максимального правдоподобия, а ее натуральный логарифм, то сочтем возможным назвать функцией максимального правдоподобия функцию По этой же причине при рассмотрении теории квазиправдоподобных оценок функция названа функцией квазиправдоподобия.

Оценку называют асимптотически несмещенной, если при неограниченном возрастании объема случайной выборки она становится несмещенной. Аналогично определяются понятия асимптотически эффективной и асимптотически нормальной оценки. Оценку называют нормальной оценкой, если она получена по данным случайной выборки, распределенной по нормальному закону.

Теорема 9.3. Пусть -мерная функция плотности вероятностей

-мерного случайного процесса , зависящего от -мерного вектора неизвестных параметров , разделяет точки В на множестве . Пусть для функции при любом существуют и ограничены все частные производные по компонентам вектора а до третьего порядка включительно. Тогда, если данные наблюдений представлены множеством то оценка максимального правдоподобия определяемая равенствами (9.35), (9.34), является состоятельной, асимптотически несмещенной, асимптотически эффективной и асимптотически нормальной.

Доказательство сформулированной теоремы при сделанных предположениях практически ничем не отличается от доказательства соответствующей теоремы о свойствах максимально правдоподобной оценки параметра распределения случайной величины, которое можно найти в литературе по математической статистике. Не останавливаясь на доказательстве теоремы 9.3, проиллюстрируем метод максимального правдоподобия на примере скалярного случайного процесса (9.12) (см. пример 9.3).

Пример 9.5. Рассмотрим скалярный случайный процесс, определенный стохастической моделью состояния в форме Ито:

где — скалярный винеровский процесс с единичным коэффициентом диффузии — известное начальное состояние, а — вектор неизвестных параметров с положительными компонентами.

Для того чтобы записать -мерную функцию плотности вероятностей рассматриваемого случайного процесса, полагаем

Как показано в примере 7.5, скалярный случайный процесс определен следующей стохастической моделью состояния:

где . Поэтому он является гауссовским скалярным процессом.

Кроме того, непосредственно из стохастической модели состояния (9.38) вытекает, что математическое ожидание является решением задачи Коши:

Чтобы определить дисперсию рассмотрим случайный процесс

который, согласно (9.38), (9.39), удовлетворяет стохастической модели состояния

и имеет нулевое математическое ожидание. Так как в этом случае то

Для того чтобы определить выражения для условного математического ожидания

и условной дисперсии

математические модели (9.39), (9.40) следует рассматривать на временном интервале

Решая задачи Коши (9.41), (9.42), получаем

Теперь можно записать условную функцию плотности вероятностей:

Поскольку рассматриваемый случайный процесс является марковским процессом, его -мерная функция плотности вероятностей имеет вид

Приступим к решению задачи оценивая неизвестных параметров , составляющих вектор , методом максимального правдоподобия. Предположим, что данные наблюдений представлены множеством и определены согласно (9.1), (9.2). Для упрощения записи введем обозначение:

Тогда, согласно (9.34), (9.44) и равенству

функцию максимального правдоподобия можно записать в виде

С учетом представления (9.43) получаем

где

Отметим, что С не зависит от Нетрудно убедиться в том, что функция максимального правдоподобия имеет единственный максимум в точке с координатами:

где

суммарное время наблюдений. Координаты и удовлетворяют системе алгебраических уравнений

Сделаем одно важное замечание, касающееся применения как метода максимального правдоподобия, так и других методов. Дело в том, что мы считаем известным вид функции плотности вероятностей которая при представляет собой -мерную функцию плотности вероятностей изучаемого случайного процесса.

Ослабим это условие и предположим, что -мерная функция плотности вероятностей рассматриваемого случайного процесса , задана функцией в то время как в действительности она представляет собой функцию . В этом случае полагают

и рассматривают функцию квазиправдоподобил

В качестве оценки вектора неизвестных параметров берут квазиправдоподобную оценку

Это мы уже рассматривали в 9.5: в теореме 9.2 было показано, что при известных предположениях относительно функции плотности вероятностей нормального закона распределения задача оценивания вектора неизвестных параметров имеет единственное решение. В общем случае следует потребовать выполнения неравенства

Так как выборочное среднее является состоятельной оценкой для математического ожидания, то

и с учетом предыдущего неравенства можно доказать состоятельность квазиправдоподобной оценки вектора неизвестных параметров

Пусть

где

Предположим, что выполнены следующие условия.

1. При каждом существуют все частные производные для функции по компонентам вектора а до третьего порядка включительно и

2. При любых и

причем

3. При каждом

4. При каждом существуют матрицы

причем матрица положительно определена.

Теорема 9.4. Если выполнены условия 1-4, то квазиправдоподобная оценка сходится по вероятности к истинному значению неизвестного вектора параметров и является асимптотически несмещенной и асимптотически нормальной оценкой с ковариационной матрицей

Доказательство этой теоремы также можно найти в литературе по математической статистике. Не приводя его, поясним теорему на конкретном примере.

Пример 9.6. Рассмотрим скалярный случайный процесс определяемый стохастической моделью состояния в форме

где — скалярный винеровский процесс с коэффициентом диффузии — известное начальное состояние, — вектор неизвестных параметров с положительными компонентами.

При получаем стохастическую модель состояния, рассмотренную в примере 9.5. Однако при записать -мерную функцию плотности вероятностей изучаемого случайного процесса, как это было сделано в примере 9.5, не удается. Действительно, пусть

В этом случае по правилу дифференцирования Ито получаем

где — исходный случайный процесс.

Поскольку мы не можем определить -мерную функцию плотности вероятностей случайного процесса то для решения задачи оценивания неизвестных параметров модели (9.45) по данным наблюдений мы не можем использовать метод максимального правдоподобия.

Для определенности будем считать, что располагаем данными наблюдений, представленными множеством Получим квазиправдоподобные оценки неизвестных параметров модели (9.45), представленные вектором

Так как в рассматриваемом случае данные наблюдений представлены множеством и определены согласно (9.4), то функция квазиправдоподобия имеет вид

Если для упрощения записи ввести обозначение

и подставить выражение для функции плотности вероятностей нормального закона распределения, то получим

В соответствии с результатами, приведенными в 7.2, функции являются решениями следующих задач Коши:

Нетрудно убедиться в том, что при функции разделяют точки области изменения параметров на множестве Поэтому задача оценивания имеет единственное решение представляющее собой квазиправдоподобную оценку вектора неизвестных параметров 0. Эта оценка обладает всеми свойствами, перечисленными в теореме 9.4, поскольку выбранная для решения задачи гауссова функция плотности вероятностей удовлетворяет условиям данной теоремы.

Заметим, что решения задач Коши (9.47), (9.48) можно записать в явном виде и подставить в правую часть (9.46). Однако сложность получаемых зависимостей не позволяет в явном виде записать координаты точки максимума для функции как это было сделано в примере 9.5. Поэтому в данном случае квазиправдоподобную оценку находят с помощью численных методов решения экстремальных задач [XIV].