3.5. Ортогональная структура матрицы плана

Предположим, что в модели мы можем разбить матрицу X на совокупностей столбцов, составляющих матриц

Соответствующим образом разобьем и вектор Р:

Здесь число элементов вектора равно числу столбцов в Тогда исходная модель запишется в виде

Предположим далее, что столбцы матрицы ортогональны столбцам матрицы для всех т. е. Тогда

Иначе говоря, является оценкой наименьших квадратов для в модели . А это означает, что оценка наименьших квадратов для не изменится, если положить какие-то другие равными нулю. Далее, из соотношения (3.8) следует, что остаточная сумма квадратов имеет вид

так что если мы положим в указанной модели то единственное изменение остаточной суммы квадратов будет состоять

в добавлении слагаемого т. е. в этом случае сумма будет равна

В том простейшем случае, когда каждая матрица X, состоит из единственного столбца, скажем

и

Два возможных применения этой модели обсуждаются в разд. 8.2.1 и 8.5.2.

Hotelling (см. упр. 3 ниже) доказал следующее интересное свойство моделей регрессии. Если матрица плана X такова, что , то

причем равенство достигается здесь в том случае, когда (для всех Отсюда вытекает, что при заданных величинах «оптимальный» выбор X состоит в выборе матрицы плана с взаимно ортогональными столбцами. Поучительно следующее доказательство этого результата.

Лемма. Рассмотрим модель

в которой переменные стандартизованы таким образом, что для всех выполняются соотношения

Величина

достигает минимума в том случае, когда столбцы матрицы X взаимно ортогональны.

Доказательство. Согласно сделанным предположениям,

и

где собственные значения матрицы С Минимум правой части (3.21) при условии достигается, когда все равны, Поэтому существует такая ортогональная матрица для которой так что столбцы матрицы X взаимно ортогональны.

Упражнения 3е

(см. скан)

(см. скан)