12.1.5. НЕОРТОГОНАЛЬНЫЙ СЛУЧАЙ
Если 
неортогональны, т. е. 
то интерпретация разложения суммы квадратов приводит к определенным затруднениям, связанным с 
что сумма квадратов 
не может быть единственным образом разбита на сумму квадратов, обусловленную изолированным влиянием факторов 
На рис. 12.1.7 иллюстрируется подобная неоднозначность. Таким образом, вместо предыдущего разложения можно предложить разложение следующего вида:
Векторы 
[см. рис. 12.1.7] могут быть преобразованы в пару ортогональных векторов: вектор 
оставляем без изменения, а вектор 
заменяем на вектор 
перпендикуляр, опущенный из вектора 
на вектор 
[см. рис. 12.1.7, б,1)]. Аналогично можно рассмотреть пару ортогональных векторов 
— перпендикуляр, опущенный из вектора 
на вектор 
[см. рис. 12.1.7. б,2)]. Результаты, полученные выше для ортогонального случая, позволяют теперь предложить два разбиения для суммы квадратов. Эти разложения имеют следующую интерпретацию. Общая сумма квадратов 
полученная в результате подгонки у по
может быть разбита на части: первая обусловлена подгонкой по одному лишь 
а вторая — подгонкой оставшейся части у по 
. Аналогично общую сумму квадратов можно разложить на сумму квадратов, обусловленную 
, и сумму квадратов, обусловленную подгонкой остатка у по 
. Формальное доказательство данного разложения следует из ортогональности 
(легко видеть, что 
вектор остатков при подгонке 
Нетрудно также показать, что вектор 
совпадает с вектором 
Пример 12.1.5. Метод наименьших квадратов в неортогональном случае. Данные представляют собой некоторую модификацию данных из предыдущего примера. Матрица скалярных произведений имеет вид
Суммы квадратов:
Оценка методом наименьших квадратов:
Сумма квадратов:
Разложение суммы квадратов представлено в следующей таблице:
Результат разложения суммы квадратов для обоих примеров может быть представлен схемой:
При изменении 
значения коэффициентов 6, и 
также меняются. В приведенном примере значение 
изменилось с 0,75 (при 
) на —0,34; при этом у коэффициента изменился даже знак. В этой связи интерпретировать коэффициент модели необходимо с большой осторожностью, поскольку он зависит от значений других объясняющих переменных.
Сумма квадратов, объясняемая присутствием 
уже не является суммой квадратов, объясняемых изолированно 
Как правило, последняя будет меньше первой; так, в нашем примере 
При возрастании величины 
матрица
может стать вырожденной. В этом случае вектор 
линейно зависит от вектора х говорят, что 
коллинеарны. Коэффициент корреляции между 
тогда равен единице, и одна переменная без потери информации может быть удалена из анализа. На практике более распространен случай, когда корреляция между 
близка к 1, хотя в точности и не равна ей. Здесь дополнительные трудности вызывают вопросы, что значит близки к 1 и когда одна переменная может быть удалена из анализа?
