7.5. Ковариационная матрица оценок

Допустим, что наша оценка представляет собой точку минимума в пространстве без ограничений для некоторой целевой функции Целевая функция зависит также от данных, в частности она зависит наблюденных значений случайных величин О. Введем эту зависимость обозначением вместо . В точке минимума мы имеем

Допустим, что мы слегка изменили данные, заменив на Поэтому наш минимум переместится из точки в в точку где должно выполняться равенство

Раскладывая левую часть в ряд Тейлора и оставляя только члены вплоть до первого порядка, с учетом равенства мы получим

так что приблизительно

где, как обычно,

Искомая ковариационная матрица по определению равна

так что

Величины вычисляются в точке и по фактической выборке Следовательно, они — константы и могут быть вынесены за знак математического ожидания в равенстве т. е.

где есть ковариационная матрица данных, т. е.

Если мы предположим, что вектор (т. е. результаты эксперимента) имеет ковариационную матрицу и не зависит от то равенство примет вид

Эта формула применяется к любой целевой функции независимо от статистических обоснований для ее выбора. Более специальные результаты можно получить, когда целевая функция зависит только от матрицы моментов для остатков Этот Класс функций, который включает в себя сумму квадраюв и логарифм правдоподобия для нормальных распределений, допускает, как мы видели, гауссовскую аппроксимацию для матрицы Выведем аналогичную аппроксимацию для Равенство можно переписать в виде

где

При допущениях, подобных тем, какие делались при выводе равенства можно показать, что для стандартных приведенных моделей, когда

Подставляя в равенство мы получим:

Вывод, аналогичный тому, какой дается в приложении для теоремы Гаусса — Маркова, показывает, что если то выбор матрицы пропорциональной матрице ведет к наименьшему из возможных значению определителя Это на самом деле имеет место в нижеприведенных случаях и объясняет, почему оценки максимального и псевдомаксимального правдоподобия оптимальны, по крайней мере, приближенно.

Предполагая, что наблюдения имеют стандартное отклонение а, в случае единственного уравнения наименьших квадратов мы имеем:

так что равенство принимает вид

Его сравнение с равенством показывает, что здесь справедливо соотношение

Когда дисперсия неизвестна, мы заменяем ее оценкой Численные примеры даются в разделе 7.21.

Приведем теперь результаты для некоторых функций правдоподобия, которые были рассмотрены в разделе 5.9.

1. Нормальное распределение с известной матрицей

В соответствии со строкой 1 табл. так что ввиду равенство принимает вид

2. Как и в пункте 1, но матрица неизвестна. Согласно строке 3 табл. 5.1 . Но в соответствии с формулой оценка максимального правдоподобия для V равна так приблизительно и равенство все еще остается справедливым.

Для широкого класса оценок максимального правдоподобия с нормальными распределениями мы тогда имеем

Качество такой аппроксимации возрастает по мере того, как дисперсия измерений убывает и достигается лучшее соответствие модели и данных наблюдения.

Для оценок максимального правдоподобия без ограничений в большинстве случаев можцр показать и далее], что асимптотически (когда последовательность экспериментов повторяется до бесконечности) выборочное распределение стремится (с вероятностью 1) к нормальному, причем его среднее равно истинным значениям параметров, а ковариационная матрица равна:

Вычисление требуемого математического ожидания очень утомительно, если только вообще возможно; поэтому мы обычно заменяем математическое ожидание на наиболее вероятное значение, т. е. на значение в точке Это возвращает нас назад к равенству И опять-таки приемлемость этой аппроксимации зависит от качества подгонки модели к данным. Если эта подгонка очень хорошая, функция правдоподобия имеет острый пик, а математическое ожидание и наиболее вероятное значение почти совпадают.

Приведенные здесь и далее оценки для и других статистических параметров вычисляются по данным наблюдений. Следовательно, они сами — случайные величины и подвержены выборочным колебаниям.

Как иллюстрируется примерами раздела 7.22, эти колебания могут быть довольно большими даже тогда, когда может быть достигнуто хорошее соответствие модели и данных. Мы сами не будем здесь касаться вычисления выборочных дисперсий для Тем не менее мы укажем, что эти дисперсии всегда возможно находить с помощью метода Монте-Карло (раздел 3.3). Обычно же матрицу вычисленную по некоторой имеющейся выборке данных, можно рассматривать как грубую, правильно отражающую порядок величины оценку и не более.

Тот факт, что эти аппроксимации рушатся, когда подгонка модели плоха, не должен нас чрезмерно беспокоить, поскольку в этом случае мы так или иначе не слишком доверяем модели и будем пытаться улучшать либо модель, либо данные. Даже очень грубая аппроксимация для может принести значительную пользу, как мы увидим это в главе