Рис. 12.1.2. Геометрическое представление векторов в 
-мерном пространстве. Вектор 
ортогонален проекции у на х, отклонение 
перпендикулярно х
Рис. 12.1.3. Ортогональная проекция 
и неортогональная проекция 
Рис. 12.1.4. Тенью вектора у от солнечных лучей, падающих ортогонально 
будет вектор у
Для доказательства, что условие 
является необходимым и достаточным для того, чтобы значение 
было равно минимуму 
дадим приращение 8, а именно рассмотрим 
[рис. 12.1.3]. Тогда
Допустим, 
минимизирует сумму квадратов 
Тогда правая часть последнего выражения является неотрицательной квадратичной функцией от 
с положительным коэффициентом при 62. Один из ее корней равен нулю, поэтому второй корень тоже должен быть равен нулю. Таким образом, коэффициент при 6 равен нулю, т. е. 
Если же 
удовлетворяет нормальному уравнению, то
Рис. 12.1.5. Теорема Пифагора для заштрихованного треугольника приводит к разложению суммы квадратов: 
правая часть рассматриваемого выражения будет неотрицательной, поэтому это значение 
определяет минимум суммы квадратов.
Геометрически вектор у можно представить себе проекцией вектора у на линейное подпространство, натянутое на вектор х [см. раздел
11.3.1]. Если направление солнечных лучей ортогонально вектору х, то у будет тенью вектора у [рис. 12.1.4]. Из такой интерпретации у, в частности, следует, что 
Доказательство. По определению
Поэтому
Проекция является ортогональной, поскольку 
Геометрически разложение суммы квадратов следует из теоремы Пифагора [рис.
12.1.5, рассматривается заштрихованный треугольник].
-мерного пространства позволяет глубже понять суть метода наименьших квадратов. При 
соответствуйте векторы 
изображаются точками на плоскости. Вектор 
коллинеарен вектору х. Как следует из рис. 12.1.2, значение 
, минимизирующее расстояние от у до 
равно значению 
для которого вектор 
ортогонален вектору х.
