7.6. ТЕОРИЯ ЕМ-АЛГОРИТМА ДЛЯ ЭКСПОНЕНЦИАЛЬНОГО СЕМЕЙСТВА
ЕМ-алгоритм имеет особенно простую и наглядную интерпретацию, когда полным данным
соответствует распределение из
регулярного экспоненциального семейства, определяемого плотностью вида
где
обозначает
-вектор параметров,
-вектор достаточных статистик для полных данных, а
соответственно функции от
Многие задачи с полными данными моделируются распределением вида (7.21), охватывающим, по существу, все примеры из части II книги как частные случаи. Шаг
для (7.21) заключается в оценивании достаточной статистики для полных данных
На шаге
определяется новая оценка
как решение уравнений максимального правдоподобия
являющихся просто уравнениями максимального правдоподобия для полных данных У, в которых
заменено на
Решение уравнения (7.23) относительно
часто можно получать явно или, по крайней мере, с помощью имеющихся компьютерных программ для полных данных. В таких случаях вычислительные проблемы фактически сводятся к шагу
для оценивания статистики
(«заполнение пропусков») с помощью (7.22). Разложение наблюдаемой информации (7.19) в данном случае особенно просто. Полная информация есть
а отсутствующая информация —
Значит, наблюдаемая информация есть
разность между безусловной и условной дисперсиями достаточной статистики для полных данных. Отношение условной и безусловной дисперсии определяет здесь скорость сходимости.