§ 117. Применение метода максимума правдоподобия для нахождения оценки математического ожидания случайной функции

Пусть нормально распределенная случайная функция, математическое ожидание которой представляет собой линейную комбинацию известных функций с неизвестными коэффициентами

Поставим задачу найти оценку математического ожидания случайной функции X по результатам наблюдения одной ее реализации, считая известной ее корреляционную функцию Предположим сначала, что реализация случайной функции X наблюдается в дискретном ряде точек Тогда задача сведется к нахождению оценки векторного параметра и, составляющими которого являются величины по результатам наблюдения случайного вектора X с составляющими Плотность вероятности этого случайного вектора при данных значениях параметров выражается

формулой (23.41), которая в данном случае принимает вид:

где - определитель корреляционной матрицы случайного вектора X, элементы которой равны

алгебраическое дополнение элемента в определителе а величины на основании формул (23.42) и (117.1) выражаются формулой

Из (117.2) и (117.4) следует, что

Подставляя сюда выражение (117.4) величин принимая во внимание, что и приравнивая результат нулю, получим систему уравнений максимума правдоподобия:

Решив эту систему уравнений относительно параметров и подставив полученные выражения в (117.1), найдем оценку максимума правдоподобия математического ожидания случайной функции

Для перехода к случаю наблюдения случайной функции X в непрерывной области изменения нам необходимо преобразовать систему уравнений (117.6). Полагая

можем переписать систему уравнений (117.6) в виде:

где

Так как величины представляют собой элементы матрицы, обратной по отношению к корреляционной матрице случайного вектора X (см. Дополнение, I), то величины определяемые формулой (117.7), удовлетворяют системе линейных алгебраических уравнений

Из (117.9) и (117.10) следует, что матрица коэффициентов системы уравнений (117.8) симметрична:

Решая уравнения (117.8) относительно величин получим оценки максимума правдоподобия параметров

где через обозначены элементы матрицы, обратной по отношению к матрице коэффициентов уравнений (117.8).

Подставляя выражение (117.12) в (117.1), получим оценку математического ожидания случайной функции X:

где

а

Определяемые этой формулой функции удовлетворяют системе линейных алгебраических уравнений

Таким образом, метод максимума правдоподобия дает для оценки математического ожидания нормально распределенной случайной функции X по результатам ее наблюдения в дискретном ряде точек формулу (117.13). Коэффициенты в этой формуле определяются формулой (117.14) после предварительного решения систем линейных алгебраических уравнений (117.10) относительно величин вычисления коэффицентов по формуле (117.9)

и решения системы линейных алгебраических уравнений (117.16) относительно функций

Формула (117.13) дает несмещенную оценку математического ожидания случайной функции. Действительно, из (117.13), (117.1), (117.14), (117.9) и (117.16) следует, что

Для вычисления дисперсии оценки (117.13) воспользуемся формулой (20.17). Тогда вследствие (117.14), (117.10) и (117.9) получим:

Отсюда на основании (117.16) получаем формулу

Можно доказать еще, что формула (117.12) дает совместно-эффективные несмещенные оценки параметров

Перейдем теперь к случаю, когда реализация случайной функции X наблюдается при всех значениях аргумента непрерывно изменяющегося в некоторой области Для простоты мы ограничимся здесь случаем скалярного аргумента В этом случае без ущерба для общности можно считать, что реализация случайной функции X наблюдается в интервале Возьмем в этом интервале точек и будем неограниченно увеличивать таким образом, чтобы наибольшее расстояние между соседними точками стремилось к нулю при Положим:

Подставляя выражение из второй формулы (117.20) и выражен ние (117.3) в (117.10) и переходя к пределу при получим:

Подставляя второе выражение (117.20) в (117.9), принимая во внимание симметрию коэффициентов и переходя к пределу при получим:

Формула (117.14) вследствие (117.20) принимает вид:

Наконец, на основании первой формулы (117.20) формула (117.13) после перехода к пределу при дает для оценки математического ожидания выражение

Таким образом, метод максимума правдоподобия дает для оценки математического ожидания случайной функции X формулу (117.24), где функция веса определяется формулой (117.23) после предварительного нахождения функций путем решения интегральных уравнений (117.21), вычисления коэффициентов по формуле (117.22) и решения системы линейных алгебраических уравнений (117.16) относительно функций Из всех этих операций самой сложной является решение интегральных уравнений типа (117.21). Методы решения интегральных уравнений такого типа и более общих уравнений статистической теории оптимальных систем будут изложены в главе 17.

Формула (117.24) дает несмещенную оценку математического ожидания, дисперсия которой, как нетрудно видеть, определяется той же формулой (117.19), что и дисперсия оценки (117.13). Едва ли стоит отмечать, что результаты вычисления дисперсии оценки математического ожидания по формуле (117.19) будут различными в случае наблюдения случайной функции X в области дискретном ряде точек, так как коэффициенты уравнений (117.16) в этих двух случаях определяются разными формулами.

Из общих результатов § 124, которые будут получены независимо от результатов этого параграфа, следует, что оценка (117.24) математического ожидания случайной функции имеет наименьшую возможную для несмещенной оценки дисперсию. Таким образом, никакая оценка математического ожидания не может быть точнее, чем (117.24). Оценка (117.24) является оптимальной несмещенной оценкой математического ожидания случайной функции.

Мы видим, что, как и утверждалось в § 115, для вычисления оптимальной функции веса в (117.24) необходимо знать

корреляционную функцию случайной функции Это обстоятельство является основным затруднением, препятствующим практическому применению оптимальных оценок характеристик случайных функций, так как при определении характеристик случайной функции по результатам опытов ее корреляционная функция бывает неизвестной и ее оценку требуется получить наряду с оценкой математического ожидания. Вследствие этого основное значение оптимальных оценок ограничивается тем, что их дисперсии или средние квадратические ошибки представляют собой предельный теоретически достижимый минимум, сравнение с которым дисперсий или средних квадратических ошибок других возможных оценок позволяет судить о качестве этих оценок.

Приведенный вывод формулы (117.24), а также формул и уравнений, определяющих функцию веса принадлежит К. А. Павлову [40].