3.7. Введение дополнительных регрессоров

3.7.7. Общая теория

Предположим, что уже после того, как подобрана модель регрессии

мы хотим включить в нее дополнительные регрессоры чтобы модель с введением этих регрессоров приняла вид

(здесь мы обозначили и где - матрица размера ранга -матрица размера ранга и столбцы матрицы линейно не зависят от столбцов матрицы X, т. е. матрица размера имеет ранг Тогда имеются две возможности отыскания оценки наименьших квадратов вектора . Во-первых, можно найти оценку и ее дисперсионную матрицу непосредственно из соотношений

Во-вторых, можно уменьшить количество необходимых выкладок, используя те вычисления, которые были проведены в процессе подбора модели. Соответствующие результаты приведены в теореме 3.7. Геометрическое доказательство этой теоремы, допускающее неполноту ранга матрицы X, приведено в разд. 3.8.3.

Лемма. Если то матрица не вырождена.

Доказательство. Пусть Тогда по теореме 3.1 (i)

т. е. Поэтому имеет вид откуда при сделанном предположении о линейной независимости столбцов матрицы от столбцов матрицы X имеем Следовательно, столбцы матрицы линейно независимы, и эта матрица является невырожденной.

Теорема 3.7. Пусть и

Тогда

Доказательство, (i) Пусть Тогда

поскольку и т. д. Чтобы найти разобьем систему нормальных уравнений на две части и решим отдельно уравнения Используя получаем следующие уравнения:

Из (3.29) вытекает, что

(ii) Подставляя (3.31) в (3.30), получаем

так что

Отсюда

Имеем

так что

в силу симметричности и идемпотентности матрицы (теорема 3-1 (0).

(iv) Из (iii) имеем

(в последнем равенстве мы использовали

Прежде всего

Далее, в силу теоремы 1.4

поскольку (теорема 3.1 (iii)). Поэтому, используя n.(i), в соответствии с теоремами 1.5 и 1.4 имеем

(последнее - в силу и

(здесь мы опять использовали

Из доказанной теоремы вытекает, что, обратив однажды (при подборе первоначальной модели) матрицу можно найти оценку (в расширенной модели) и ее дисперсионную матрицу, обращая только матрицу размера При таком подходе уже

не требуется обращать матрицу размера Ниже рассматривается случай

3.7.2. Одна дополнительная переменная

Обозначим столбцы матрицы X символами так что

Предположим теперь, что мы намерены включить в подобранную модель еще один регрессор, скажем так что в результате получится (в указанных выше обозначениях) модель с . В соответствии с теоремой 3.7 оценки наименьших квадратов для этой расширенной модели вычисляются без затруднений, поскольку на сей раз матрица равная состоит всего лишь из одного элемента, т. е. является скалярной величиной. Поэтому

и матрица легко находится с использованием матрицы Простота, с которой производится "коррекция" оценок при переходе к модели с одной дополнительной переменной, наводит на мысль, что при необходимости включения в модель большего числа дополнительных переменных следует включать их в модель поочередно. Мы обратимся к такой ступенчатой процедуре в гл. 12.

Указанный метод включения одной дополнительной переменной впервые подробно рассмотрел Cochran (1938); на случай нескольких переменных его обобщил Quenouille (1950).

3.7.3. Двухшаговый метод наименьших квадратов

Утверждения, содержащиеся в теореме 3.7, предполагают следующую последовательность шагов при намерении "расширить" матрицу плана:

(1) Вычисляем

(2) Для получения вектор заменяем в квадратичной форме на и минимизируем соответствующую форму по отношению к у. После выполнения указанной подстановки приходим к квадратичной форме

Приравнивая производную нулю, получаем

откуда находим искомую оценку наименьших квадратов для у:

(3) Остаточную сумму квадратов для расширенной модели находим как минимальное значение квадратичной формы по теореме равное

(4) Для получения заменяем на в выражении для т. е.

(5) Коэффициент при в уравнении (соотношение (3.36)), равный дает возможность легко вычислить дисперсионную матрицу

Мы называем приведенную процедуру двухшаговым методом наименьших квадратов. Этод метод широко используется в гл. 10 при рассмотрении моделей дисперсионного анализа.

Интересно отметить, что указанный двухшаговый метод наименьших квадратов для подбора расширенной модели эквивалентен подбору "ортогонализованной" модели имеющей ортогональную структуру, описанную в § 3.5 (поскольку Чтобы убедиться в этом, используем теорему и получим

или (обозначив

Здесь - решение уравнения т. е. уравнения (матрица R симметрична и идемпотентна), так что является оценкой наименьших квадратов для Эта идея снова появляется в разд. 3.8.3 (формула (3.53)).

3.7.4. Остатки в двухшаговой процедуре

Остатки для расширенной модели имеют (с учетом (3.37)) вид

где

Проведенные только что преобразования лежат в основе рекуррентного алгоритма для подбора моделей дисперсионного анализа

регрессиоными методами. Этот алгоритм разработал Wilkinson G. N. (1970) (см. также James, Wilkinson (1971), Rogers, Wilkinson (1974); Pearce и др. (1974)). Основные этапы алгоритма таковы:

(1) Вычисление остатков

(2) Использование оператора который Уилкинсон называет "выметающим" (не смешивать с методом "выметания" в разд. 12.2.2), для получения вектора "кажущихся остатков"

(3) Повторное применение оператора с целью получения значений истинных остатков

Если столбцы матрицы ортогональны столбцам матрицы X, то тогда (в силу (3.39)), и этап (3) оказывается ненужным. В дальнейшем мы увидим (разд. 3.8.3), что рассмотренную процедуру можно использовать и в том случае, когда матрица X имеет неполный ранг.

Полагая, что матрица X образована первыми столбцами некоторой исходной матрицы X, а матрица столбцом исходной матрицы , указанный алгоритм можно использовать для такого подбора регрессии, при котором подбор производится поочередно для каждого столбца исходной матрицы. Такая ступенчатая процедура вполне уместна при планировании эксперимента, поскольку в этом случае столбцы исходной матрицы X соответствуют различным компонентам модели, таким, как общее среднее значение, главные эффекты, блочные эффекты, взаимодействия, причем обычно некоторые из ее столбцов бывают ортогональными. Кроме того, элементы матрицы плана равны 0 или 1, так что для многих стандартных планов выметающий оператор сводится к простой операции вычитания средних или некоторого кратного средних из остатков.

Упражнения 3g

(см. скан)