6.5. ПРИМЕНЕНИЕ SWEEP-ОПЕРАТОРА ДЛЯ МОНОТОННЫХ НОРМАЛЬНЫХ ДАННЫХ

Этот раздел посвящен применению SWEEP-оператора (или оператора «свертки», см. [Beaton (1964)]) в линейной регрессии для полных данных. Мы покажем, что SWEEP-оператор позволяет просто и удобно вычислять оценки максимального правдоподобия для данных с пропусками. Вариант, который здесь рассматривается, не совпадает с описанным в [Beaton(1964)], скорее, это вариант из [Dempster (1969)]. Другой доступный источник соответствующих сведений — [Goodnight (1979)]. К SWEEP-оператору мы вернемся также в гл. 8 при описании МП-оценивания по нормально распределенным данным со структурой пропусков общего вида.

Оператор «свертки» для симметричных матриц определяется следующим образом: свертка симметричной -матрицы G по строке и столбцу к есть симметричная -матрица с элементами

Например, для матрицы

Матрица, полученная в (6.18), обозначена Результат последовательного применения оператора свертки по строкам и столбцам будем обозначать На практике свертку удобнее начинать с вычисления затем вычислять элементы в строке и столбце, наконец, вычислять элементы вне этих строки и столбца, Объем памяти можно сэкономить, размещая элемент симметричной -матрицы при в позиции вектора длины

Алгебраические вычисления показывают, что оператор коммутативен:

Из этого следует

где любая перестановка множества Таким образом, алгебраически порядок выполнения свертки не влияет на результат, хотя в вычислениях один порядок может оказаться точнее другого.

Оператор свертки тесно связан с линейной регрессией. Например, пусть ковариационная матрица двух переменных

Если то коэффициент регрессии на остаточная дисперсия Далее, если выборочная ковариационная матрица для независимых наблюдений, то оценка дисперсии выборочного коэффициента регрессии

Рассмотрим более общий случай. Пусть по выборке -мерных наблюдений объема построена симметричная -матрица

где выборочные средние, а суммирование проводится по наблюдениям. Для удобства мы пронумеровали строки и столбцы от до чтобы строка и столбец соответствовали переменной Свертка по строке и столбцу дает

где выборочная ковариация с делителем а не с операция соответствует вычитанию из сумм взаимных произведений, деленных на , поправок на средние что приводит к выборочной ковариационной матрице . В терминах регрессии средние в первых строке и столбце матрицы это коэффициенты регрессии на постоянную

а полученная матрица остаточнад ковариационная матрица от этой регрессии. В соответствии со сказанным будем также называть эту операцию сверткой по постоянному члену, а (6.19) назовем дополненной ковариационной матрицей переменных

Свертка по строке и столбцу 1, соответствующим дает симметричную матрицу

где размер . В этой матрице результаты для многомерной регрессии на . В частности, столбец В содержит свободный член и коэффициент наклона для регрессии на Матрица С — остаточная ковариационная матрица при фиксированном Наконец, элементы А после умножения на соответствующие остаточные дисперсии или ковариации из С и деления на позволяют определить дисперсии и ковариации оценок коэффициентов регрессии в В.

Проводя свертку по постоянному члену и первым элементам, получаем результаты для многомерной регрессии на Точнее, пусть

где размеры

Тогда столбец содержит вычисленные по методу наименьших квадратов свободный член и коэффициент наклона для регрессии на матрица остаточная ковариационная матрица а элементы можно использовать, как описано выше, чтобы получить дисперсии и ковариации оценок коэффициентов регрессии в

Итак, МП-оценки многомерной линейной регрессии на можно найти, проводя свертку матрицы нормированных сумм взаимных произведений по строкам и столбцам, соответствующим постоянному члену и предсказывающим переменным (регрессорам)

Свертка по некоторой переменной, по существу, переводит эту переменную их зависимых в предсказывающие (независимые) переменные. Существует также и оператор, обратный к свертке и переводящий независимую переменную в зависимую. Этот оператор называется обратной сверткой (RSW, reverse sweep) и определяется как

где

Легко проверить, что обратная свертка также коммутативна и является операцией, обратной к свертке, т. е.

Пример 6.6. Двумерные нормальные монотонные данные (продолжение примера 6.1). С помощью операторов свертки и обратной свертки можно легко связывать различные параметризации двумерного нормального распределения. Так, посредством обозначений SWP[ ] и RSW[ ] можно компактно выразить связь (6.4) и (6.5) между параметрами в и из примера 6.1. Существенной является и возможность получения с помощью этих операторов численных результатов для МП-оценок.

Допустим, мы расположили в следующей симметричной матрице, которая представляет собой аналог (6.19) для популяции:

Матрица в представляет параметры двумерного нормального распределения после свертки по постоянной. Свертка в по строке и столбцу 1 согласно (6.18) даст

Сравнение с (6.4) показывает, что вторая строка (и столбец) содержит свободный член коэффициент регрессии на и остаточную дисперсию Матрица образованная строками и столбцами и 1, содержит (хотя и не в самом удобном виде) параметры распределения Чтобы увидеть это, запишем:

где параметр представленный в виде матрицы. В соответствии со свойством 5.1 аналогичное выражение связывает МП-оценки с МП-оценками в:

Применяя к обеим сторонам оператор получаем

Выражение (6.22) определяет преобразование в в через операторы свертки и обратной свертки и показывает, как эти операторы можно использовать при вычислении в и

Пример 6.7. Многомерные нормальные монотонные данные (продолжение примера 6.5). Теперь обобщим пример 6.6 и покажем, как можно применять операторы свертки и обратной свертки для поиска МП-оценок среднего и ковариационной матрицы для данных с монотонной структурой из многомерного нормального распределения. Мы полагаем, что после соответствующей перестановки данные имеют структуру, изображенную на рис. 6.1. Для простоты рассмотрим случай с блоками переменных. Обобщение для большего числа блоков проводится совершенно аналогично.

Шаг 1. Найти МП-оценки и среднего и ковариационной матрицы переменных первого блока, наблюдаемого полностью. Это оценки — просто выборочные средние и ковариационная матрица по всем наблюдениям.

Шаг 2. Найти МП-оценки и свободных членов, коэффициентов регрессии и остаточной ковариационной матрицы для регрессии на Эти оценки можно найти, проводя свертку по У, дополненной ковариационной матрицы переменных построенной по наблюдениям, в которых присутствуют эти переменные.

Шаг 3. Найти МП-оценки свободных членов, коэффициентов регрессии и остаточной ковариационной матрицы для регрессии на Их можно найти, проводя свертку по дополненной ковариационной матрицы переменных основанной на полных наблюдениях, где присутствуют

Шаг 4. Вычислить матрицу

где сокращенное обозначение свертки по переменным IV Шаг 5. Вычислить матрицу

где сокращенное обозначение свертки по переменным

5. Окончательно МП-оценка дополненной ковариационной матрицы дается выражением

Эта матрица содержит, как указано, МП-оценки средних и ковариационной матрицы Шаги 4—6 можно компактно записать с помощью уравнения

с очевидным обобщением на случай более трех блоков переменных. Это уравнение определяет преобразование в 6 для данной задачи.

Пример 6.8. Численный пример. Рубин [Rubin (1976)] применил описанную выше схему вычислений к данным табл. 6.4, взятым из [Draper and Smith (1968)]. Исходно переменные были обозначены Данные имеют структуру, как на рис. 6.1 с МП-оценки маргинального распределения вычисляемые на шаге 1, равны

Шаг 2 основан на наблюдениях 1—9 и позволяет получить коэффициенты регрессии на

и оценку остаточной ковариационной матрицы

Шаг 3 основан на наблюдениях 1—6 и дает возможность найти следующие оценки коэффициентов и остаточной дисперсии регрессии на остальные переменные:

Проводя вычисления на шагах 4—6, получаем:

Таблица 6.4. (см. скан) Данные для примера 6.8 (значения в скобках считаются в примере пропусками)

Вычисляя правую сторону и переставляя переменные, получаем МП-оценки: