2.8. ОРТОГОНАЛЬНЫЕ СТОЛБЦЫ В МАТРИЦЕ X
Допустим, что мы имеем дело с регрессионной задачей, включающей параметры 
Используя принцип дополнительной суммы квадратов, можно вычислить ряд таких величин, как:
Эти величины имеют обычно совершенно различные численные значения за исключением того случая, когда 
-столбец матрицы X ортогонален к 
-столбцам той же матрицы. Если это имеет место, то мы можем однозначно говорить о величине 
Рассмотрим теперь эту ситуацию более подробно.
Предположим, что матрицу X, входящую в модель 
мы разбиваем на 
наборов столбцов. Запишем эту операцию в матричной форме так:
Соответствующим образом можно разбить на подвекторы и вектор Р:
где число столбцов в X равно числу элементов в 
Тогда модель может быть записана в виде
Допустим далее, что
есть оценка вектора 
для такой модели (и имеющихся данных), полученная из нормальных уравнений
Вывод. Если столбцы матрицы 
ортогональны к столбцам 
для всех 
если 
то справедливо
соотношение
причем 
есть МНК-оценка 
независимо от того, будут или не будут содержаться в модели любые другие члены. Таким образом, 
любой набор 
Заметим, что вовсе не обязательно, чтобы столбцы матрицы X были ортогональны между собой, надо только, чтобы каждый столбец этой матрицы был ортогональным ко всем прочим столбцам матрицы 
Рассмотрим случай, когда 
Здесь
где 
(Это означает, что все столбцы матрицы 
ортогональны ко всем столбцам матрицы 
Мы можем записать модель так:
где вектор 
разбит на два подмножества коэффициентов, каждое из которых соответствует совокупностям столбцов в матрицах 
Нормальные уравнения 
приводятся к виду
где разбиение вектора 
на подвекторы соответствует разбиению вектора 
Поскольку внедиагональные матрицы 
нормальные уравнения могут быть разбиты на две независимые системы уравнений
которые имеют решения
Последние основаны на предположении, что матрицы, подвергнутые обращению, неособенные. Поэтому 
есть МНК-оценка независимо от того, содержится 
в модели или нет. Аналогичное утверждение справедливо и для 
Затем
Таким образом,
Отсюда следует, что
Аналогично
и это зависит только от ортогональности столбцов 
Обобщение на случай 
следует непосредственно.
