Глава 7. МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ ДЛЯ СТРУКТУР ПРОПУСКОВ ОБЩЕГО ВИДА: ВВЕДЕНИЕ И ТЕОРИЯ МЕТОДА ПРИ ИГНОРИРУЕМОМ МЕХАНИЗМЕ ПРОПУСКОВ

7.1. МЕТОДЫ ВЫЧИСЛЕНИЙ

Структура неполных данных на практике часто не позволяет явно вычислять ОМП с помощью факторизации правдоподобия. Кроме того, для некоторых моделей факторизация существует, но параметры каждого из факторов не раздельны, и поэтому

максимизация факторов по отдельности не приводит к максимуму правдоподобия. В этой главе мы рассмотрим итеративные методы вычислений, когда ОМП не выражаются в явном виде. В некоторых случаях эти методы можно применить к факторизованным неполным данным, описанным в разделе 6.6.

Предположим, как и ранее, что мы имеем модель для полных данных У, которой соответствует плотность зависящая от неизвестного параметра Введем обозначение где представляет собой наблюдаемую часть пропущенные значения. В этой главе для простоты примем, что данные ОС и что целью является максимизация правдоподобия

по 0. Аналогичный анализ применим в более общей ситуации, когда данные не ОС, а значит, член, представляющий механизм порождения пропусков, включается в модель. Такие случаи рассматриваются в гл. 11.

Если правдоподобие дифференцируемо и одномодально, ОМП можно найти, решая уравнение максимального правдоподобия

Когда нельзя явно найти корень (7.2), можно применить итеративные методы. Пусть начальная оценка в, вычисленная, например, по наблюдениям без пропусков. Обозначим оценку на итерации. Алгоритм Ньютона-Рафсона определяется уравнением

где наблюдаемая информация:

Если логарифм функции правдоподобия выпуклый и одномодальный, то последовательность значений сходится к ОМП в параметра в (за одну итерацию, если логарифм правдоподобия — квадратичная функция от в) Вариантом этой процедуры является метод функции вкладов (method of scoring), при котором в (7.3) наблюдаемую информацию заменяют ожидаемой:

где

При обоих методах вычисляется матрица вторых производных логарифма правдоподобия. Для сложных структур пропусков элементы этой матрицы являются сложными функциями от 0. К тому же эта матрица велика при большей размерности 0. Как следствие, чтобы применять эти методы, могут потребоваться тщательные алгебраические выкладки и высокоэффективное программирование.

Еще один алгоритм [см. Berndt, Hall, Hall and Hansman (1974)] основан на том факте, что выборочная ковариационная матрица вклада является состоятельной оценкой информации в окрестности Получается такое итеративное уравнение:

где логарифм правдоподобия наблюдения, положительный шаг, вводимый таким образом, чтобы обеспечить сходимость к локальному максимуму. Другие варианты алгоритма Ньютона-Рафсона позволяют аппроксимировать производные логарифма правдоподобия численно, при использовании первых и вторых разностей между двумя последовательными итерациями.

Альтернативной вычислительной стратегией для задач с неполными данными, которая не требует вычисления или аппроксимации вторых производных, является ЕМ-алгоритм (expectation-maximi-zation algorithm) - метод, который связывает МП-оценивание по с оцениванием по логарифму правдоподобия для полных данных. Во многих важных ситуациях ЕМ-алгоритм удивительно прост как в содержательном, так и в вычислительном отношении. Оставшаяся часть этой главы посвящена ЕМ-алгоритму.