3.8.3. Введение дополнительных регрессоров

Рассмотрим расширенную модель приведенную в разд. 3.7.1, но только о одним отличием: матрица X имеет теперь ранг

и поскольку столбцы матрицы линейно независимы и то является -матрицей ранга Если — единственная идемпотентная матрица, проектирующая на то матрица остается невырожденной (см. упр. 1 из упражнений Кроме того, остаются справедливыми утверждения теоремы 3.7. Нам представляется полезным наметить соответствующие доказательства

Доказательство Модель можно редуцировать к модели полного ранга, а именно к модели где — матрица размера ранга Поскольку матрица единственна, то повторяя этапы доказательства теоремы 3.7 с заменой X на и на а, получаем

и

Если нормальные уравнения (3.29) переписать в виде

то видно, что произвольные их решения можно получать заменой на в решениях уравнения Поэтому двухшаговая процедура наименьших квадратов, описанная в разд. 3.7.3, применима, даже если матрица X имеет неполный ранг.

Доказательство Пусть где ортогональный проектор на При этом

поскольку Далее,

и

Из (3.55) получаем теперь

и Кроме того, из (3.54) имеем

Наконец, снова используя (3.54), получаем

и

Доказательство (с). Все этапы доказательства теоремы 3.7 и теория разд. 3.7.3 и 3.7.4 остаются в силе, если обратные матрицы заменить обобщенными обратными. Этот метод имеет некоторое преимущество. Если допустить линейную зависимость столбцов матрицы а также (или) линейную зависимость столбцов матрицы от столбцов матрицы X, то соответствующие равенства сохраняют силу при использовании обобщенной обратной матрицы для

Упражнения 3j

(см. скан)