7.4. ТЕОРИЯ ЕМ-АЛГОРИТМА

Распределение полных данных можно факторизовать следующим образом:

где плотность наблюдаемых данных плотность отсутствующих данных при заданных наблюденных данных. Разложение логарифма правдоподобия, соответствующее (7.13), — это

Нам нужно оценить 0, максимизируя правдоподобие для неполных данных по в при заданных Однако непосредственное решение этой задачи может оказаться трудным. Запишем:

где максимизируемый логарифм правдоподобия для наблюдаемых данных, полный логарифм правдоподобия, максимум которого по предположению относительно легко найти, а отсутствующая часть полного логарифма правдоподобия.

Математическое ожидание по распределению пропущенных данных взятое по обеим сторонам (7.14) при заданных наблюденных данных и текущей оценке 6, скажем, равно:

где

и

Заметим, что по неравенству Йенсена [см. Rao (1972), с. 47]

Рассмотрим последовательность где для некоторой функции Разность значений на двух последовательных итерациях определяется выражением

ЕМ-алгоритм выбирает значение максимизирующее по 0. В более общем случае GEM, обобщенный ЕМ-алгоритм (generalized ЕМ), выбирает такое, что больше Поэтому разность между функциями в (7.16) положительна для любого ЕМ- или GEM-алгоритма. Далее, заметим, что разность между функциями в (7.16) отрицательна согласно (7.15). Следовательно, для любого ЕМ- или GEM-алгоритма переход от увеличивает логарифм правдоподобия. Сказанное доказывает теорему, являющуюся ключевым результатом в [Dempster, Laird and Rubin (1977)].

Теорема 7.1. Любой GEM-алгоритм увеличивает на каждой итерации, т. е.

причем равенство выполняется в том и только в том случае, если

Следствие 1. Допустим, что для некоторого в, принадлежащего параметрическому пространству для всех в. Тогда для любого GEM-алгоритма

и

почти наверное.

Следствие 2. Допустим, что для некоторого 6, принадлежащего параметрическому пространству для всех 6. Тогда для любого GEM-алгоритма

Теорема 7.1 указывает, что не убывает на каждой итерации GEM-алгоритма и строго возрастает на таких итерациях, где возрастает (т.е. Следствия означают, что ОМП является стационарной точкой GEM-алгоритма.

Другой важный результат, касающийся ЕМ-алгоритма, представлен в теореме 7.2, которая выполняется, когда максимизируют, полагая первую производную равной нулю.

Теорема 7.2. Допустим, что последовательность значений в ЕМ-алгоритме такова, что

а) , где обозначает первую производную по первому аргументу, т. е.

б) сходится к 0;

в) - гладкая по 0, где гладкость определена в доказательстве. Тогда

так что если сходится, то сходится к стационарной точке. Доказательство.

В условиях предполагаемой гладкости, достаточной, чтобы менять порядок интегрирования и дифференцирования, эта величина сходится к

что оказывается равным нулю после перемены порядка интегрирования и дифференцирования.

Другие результаты по ЕМ-алгоритму в [Dempster, Laird and Rubin (1977); Wu (1983)], касающиеся сходимости, включают следующее:

1) если ограничен, то сходится к некоторому

2) если общее (выпуклое) экспоненциальное семейство и ограничен, то сходится к стационарному значению

3) если регулярное экспоненциальное семейство и ограничен, то сходится к стационарной точке 0.