8.2. ОЦЕНИВАНИЕ ВЕКТОРА СРЕДНИХ И КОВАРИАЦИОННОЙ МАТРИЦЫ

8.2.1. ЕМ-алгоритм для неполных многомерных нормальных выборок

Многие методы многомерного статистического анализа, включая множественную линейную регрессию, анализ главных компонент, дискриминатный анализ и канонический корреляционный анализ, основаны на преобразовании матрицы данных в выборочные средние и матрицу ковариаций переменных. Поэтому эффективное оценивание этих величин для произвольных структур пропусков в данных является очень важной проблемой. В этом разделе мы обсудим МП-оценки среднего и ковариационной матрицы по неполной многомерной нормальной выборке, предполагая, что данные отсутствуют случайно (ОС). Хотя предположение многомерной нормальности выглядит ограничительным, методы, обсуждаемые здесь, могут обеспечить состоятельные оценки при более слабых предположениях об исследуемых распределениях. Кроме того, предположение о нормальности будет в некоторой степени ослаблено при рассмотрении линейной регрессии в разделе 8.4. Робастные МП-оценки среднего и ковариационной матрицы для многомерного -распределения и многомерной нормальной модели с загрязнением обсуждаются в разделе 10.5.

Предположим, что мы имеем дело с К-мерной переменной нормально распределенной со средним и ковариационной матрицей Обозначим представляет выборку объема из векторов пропущенные данные, множество наблюдаемых значений:

где представляет множество переменных с присутствующими значениями в наблюдении

Чтобы вывести ЕМ-алгоритм, заметим, что гипотегические полные данные извлекаются из распределения из регулярного экспоненциального семейства (7.21) с достаточными статистиками

Пусть на итерации Шаг алгоритма состоит в вычислении

где

Таким образом, отсутствующие значения у заменяются средними условными по присутствующим значениям в этом наблюдении. Эти условные средние и ненулевые добавочные ковариации легко получаются из текущих оценок параметров сверткой приращенной ковариационной матрицы, так что переменные Уоъа — предикторы в уравнении регрессии, а остальные переменные — выходные. Оператор свертки описан в разделе 6.5.

Вычисления на шаге ЕМ-оператора проводятся очень просто. Оценка вычисляется по оценкам достаточных статистик для полных данных:

Бил и Литтл [Beale and Little (1975)] предлагают заменить в оценке на по аналогии с поправкой на число степеней свободы в случае полных данных.

Остается определить начальные значения параметров. Простейшими являются следующие четыре варианта:

1) использовать решение раздела 3.2 (брать только полные наблюдения);

2) использовать одно из решений по доступным наблюдениям (раздел 3.3);

3) вычислять выборочные среднее и ковариационную матрицу по данным, пропуски в которых заполнены одним из методов раздела 3.4;

4) вычислять средние и дисперсии по присутствующим данным каждой переменной, положив все корреляции равными нулю. Вариант 1 позволяет получить состоятельные оценки параметров, если верно ОПС и присутствует по меньшей мере комплектных наблюдений. При варианте 2 используются все данные, но существует возможность, что оценка ковариационной матрицы не является положительно определенной. Это может приводить к трудностям на первой итерации. Варианты 3 и 4 дают оценки ковариационной матрицы, которые несостоятельны в общем случае, но положительно полуопределены и поэтому обычно пригодны как начальные значения. В программной реализации, видимо, следует иметь несколько вариантов начальных значений, чтобы в различных ситуациях выбирать наиболее подходящий.

Связь между МП-оценкой и эффективными формами заполнения пропусков хорошо видна в ЕМ-алгоритме. На шаге пропуски заполняются наилучшим линейным прогнозом по текущей оценке параметров. Также вычисляются коэффициенты чтобы учесть заполнение пропусков при оценивании ковариационной матрицы.

ЕМ-алгоритм, описанный выше, был впервые описан в [Orchard and Woodbury (1972)]. Для решения этой проблемы ранее в [Trawin-ski and Bargmann (1964)] был описан метод вкладов, а в [Hartley and Hocking (1971)] в изящной форме были представлены итеративные уравнения. Важным отличием ЕМ-алгоритма от метода вкладов является то, что последний требует обращения информационной матрицы и на каждой итерации. Эта матрица служит оценкой асимптотической ковариационной матрицы МП-оценок, непосредственно не вычисляемой при ЕМ-алгоритме. Однако обращение информационной матрицы на каждой итерации может оказаться трудоемким при большом числе переменных. Для -мерного случая информационная матрица в имеет строк и столбцов. При она содержит более 100 000 элементов! В ЕМ-алгоритме асимптотическая ковариационная матрица может быть получена.

в результате единственного обращения информационной матрицы, вычисленной при окончательном значении оценки 0.

Можно выделить три версии ЕМ-алгоритма. В первой хранятся исходные данные [Beale and Little (1975)]. Во второй хранятся сумма по переменной, суммы квадратов и суммы взаимных произведений для каждой матрицы пропусков [Dempster, Laird and Rubin (1977)]. Наиболее предпочтителен по объему памяти и вычислений третий вариант, в котором смешаны обе предыдущие версии. В этой версии сохраняются исходные данные для структур пропусков, которые повторяются менее чем в наблюдениях, и достаточные статистики — в противном случае.

8.2.2. Оценивание асимптотической ковариационной матрицы по информационной матрице

Если данные ОС, то ожидаемая информационная матрица параметра записанного в виде вектора, имеет вид

Здесь элемент , соответствующий строке и столбцу равен

где

ковариационная матрица переменных, присутствующих в наблюдении. элемент соответствующий строке и столбцу равен

где и при Как указывалось выше, матрица, обратная к дает оценку ковариационной матрицы МП-оценки 0.

Матрица оценивается и обращается на каждом шаге при вычислениях методом вкладов. Заметим, что ожидаемая информационная матрица блочно-диагональна по среднему и ковариациям, поэтому, чтобы получить асимптотические дисперсии МП-оценок средних или их линейных комбинаций, нужно лишь вычислить и обратить информационную матрицу для среднего имеющую относительно малые размеры.

Наблюдаемая информационная матрица, которую вычисляют и обращают на каждой итерации алгоритма Ньютона-Рафсона, не является блочно-диагональной по и так что такое упрощение не проходит, если стандартные ошибки определяются по этой матрице. С другой стороны, стандартные ошибки, определяемые по наблюдаемой информационной матрице, вычисляются более условно по отношению к данным и, значит, они более точны, когда данные ОС, но не ОПС, и в приложениях предпочтительнее ошибок, вычисляемых по

В ЕМ-алгоритме не используется ни наблюдаемая, ни ожидаемая информационная матрица, поэтому если какая-либо из них служит для вычисления стандартных ошибок, ее нужно вычислять и обращать после того, как получены МП-оценки.