при условии, что дифференцирование по
можно переносить за знак интеграла. Если мы назовем
полной, а
отсутствующей информацией, то (7.17) получит следующую примечательную интерпретацию:
Скорость сходимости ЕМ-алгоритма тесно связана с этими величинами: чем больше доля отсутствующей информации, тем медленнее сходимость. Точнее, Дэмпстер, Лэйрд и Рубин [Dempster, Laird and Rubin (1977)] показали, что для последовательности
значений в ЕМ-алгоритме, сходящейся к 0,
для
в окрестности в, где X — отношение отсутствующей информации к полной при скалярном
или наибольшее собственное значение соответствующей матрицы при векторном 0.
Луи [Louis (1982)] выразил отсутствующую информацию в терминах величин для полных данных и показал, что
где, как и раньше,
обозначает функцию вкладов,
транспонирование матрицы. В МП-оценке
и в последнем выражении остается первый член. Уравнение (7.17) принимает вид
что может оказаться полезным в процессе вычислений.
Выражение для ожидаемой информации
аналогичное (7.17), находят после вычисления математического ожидания (7.17) по
Точнее,
где
ожидаемая полная информация для
В работе [Orchard and Woodbery (1972)] это выражение приведено в другом виде.
Пример 7.4 (продолжение примера 7.2). Для «полиномиального» примера 7.2 логарифм правдоподобия для полных данных равен
с точностью до члена, не зависящего от в. Дифференцирование по в приводит к
Следовательно,
где
. Подставляя в эти выражения
получаем
Следовательно,
что можно проверить непосредственным вычислением. Заметим, что отношение отсутствующей информации к полной равно
что определяет скорость сходимости ЕМ-алгоритма около 6, отраженную в последнем столбце табл. 7.1.