11.4.3. Заполнение «пропусков» и оценивание параметров с помощью метода максимального правдоподобия. Оценки «неподвижной точки».

Разобьем матрицу X на две части и Y с совместным распределением, зависящим от вектора параметров .

В дальнейшем под понимается вектор средних значений и ковариационная матрица, Y представляет собой комплектные объекты и известные признаки в некомплектных объектах, a Z — совокупность пропущенных значений. Пусть теперь требуется найти оценку , которая максимизирует логарифм функции правдоподобия (см. § ) при фиксированном Y. Получить такую оценку прямыми вычислениями трудно. С другой стороны, значительно проще найти значение, которое максимизирует логарифм функции правдоподобия при произвольном заполнении пропусков. Если теперь рассматривать Z как случайную величину с некоторым законом распределения (зависящим от Y), то можно найти и значение , которое максимизирует математическое ожидание .

Рассмотрим один из способов осуществления этого подхода [95].

Пусть — плотность условного распределения Z при заданных , а обозначает . Тогда

(11.72)

Выберем теперь некоторое начальное значение для параметров что полностью определяет плотность и возьмем математическое ожидание от обеих частей (11.72), интегрируя их с плотностью

или в других обозначениях:

Определим теперь значение , которое максимизирует левую часть этого выражения. Величина зависит от так что можно написать

Это уравнение представляет собой преобразование вектора в вектор .

Оценкой «неподвижной точки» для назовем такое значение , что

(11.73)

а уравнение (11.73) назовем уравнением неподвижной точки.

Отметим следующие основные свойства оценок типа «неподвижной точки», связывающие их с оценками максимального правдоподобия для

1. Пусть есть оценка максимального правдоподобия по измеренным наблюдениям. Тогда удовлетворяет уравнению (11.75): т. е. принадлежит множеству оценок «неподвижной точки».

2. Если есть дифференцируемая функция, то любая оценка типа «неподвижной точки» (т. е. любое решение уравнения ) является либо точкой максимума, либо стационарной точкой функции правдоподобия

Пусть теперь X — выборка из нормального закона распределения. Пусть, как и в п. есть множество номеров признаков, измеренных для объекта — множество известных значений признаков и

Уравнениями «неподвижной точки» в этом случае будут [95]:

(11.75)

Для определения оценок максимального правдоподобия (неподвижной точки) выбирается начальное значение (например, оценки (11.68), (11.69)) и организуется циклическая процедура до тех пор, пока между оценками на последовательных итерациях не будет значимых различий.

Если наблюдено, то , а если значение пропущено, то оно оценивается величиной

где — коэффициент уравнения линейной регрессии признака на измеренные значения вектора — свободный член этого уравнения.

Поправочный член вычисляется следующим образом:

В качестве начальных значений могут быть взяты значения М и , полученные на основе выражений (11.68), (11.69). Если в рассматриваемой схеме ограничиться одной итерацией, то полученный результат будет таким же, какой дает метод заполнения пропусков в матрице данных с помощью линейной регрессии [100].