Глава 12. ЛИНЕЙНЫЕ МОДЕЛИ II
Во введении к гл. 11 было дано краткое описание проблем, изложенных в настоящей главе, и говорилось о ее связи с гл. 11.
12.1. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
12.1.1. ОСНОВНЫЕ ИДЕИ, ПОЛОЖЕННЫЕ В ОСНОВУ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ
С помощью метода наименьших квадратов [см. разделы 3.5.2, 3.5.5, гл. 8 и 10] можно решить задачу проведения «наилучшей» прямой линии через совокупность точек 
Сначала рассмотрим прямую вида 
которая проходит через начало координат и полностью определяется параметром 
.
За расстояние между точкой на плоскости 
и нашей прямой возьмем отклонение по вертикали, т. е. 
[см. рис. 12.1.1]. Очевидно, что чем меньше это отклонение, тем лучше подогнана (подобрана) прямая. Совокупной мерой расхождения между точками и прямой служит сумма квадратов 
Метод наименьших квадратов заключается в выборе такой прямой, которая минимизирует эту величину.
В 
-мерном векторном пространстве [см. раздел 11.1.1], если обозначить 
сумма квадратов запишется в виде 
Пусть 
— значение 
которое минимизирует. 
тогда вектор 
есть вектор расчетных (подогнанных) значений. Дальнейшее исследование и обсуждение метода наименьших квадратов требует введения понятия ортогональных векторов.
Определение 12.1.1. Ортогональность векторов. Векторы х и у, принадлежащие 
-мерному пространству, называются ортогональными (обозначим как 
), если их скалярное призведение равно нулю, т. е.
Рис. 12.1.1. Типичная наблюдаемая точка 
, «подогнанная» точка 
и отклонение 
Теперь вновь обратимся к задаче минимизации суммы квадратов 
Можно показать, что 
минимизирует эту величину тогда и только тогда, когда
При
Легко проверить, что в этом случае
Верны также соотношения
Наконец, введем еще одну важную характеристику линейной модели:
Таким образом, как следует из 
значение 
тогда и только тогда минимизирует величину 
когда вектор отклонений 
ортогонален вектору х. Часто условие минимизации 
называется нормальным уравнением.
Если 
удовлетворяет нормальному уравнению, то оно минимизирует сумму квадратов. Доказательство этого утверждения приводится в следующем разделе.
Результаты 
и 
касающиеся коэффициента 
и вектора расчетных значений у, следуют непосредственно из соотношения 
Сумма квадратов, соответствующая подогнанной прямой, равна 
Выражения 
следуют непосредственно из соотношений 
Разложение суммы квадратов 
на составляющие в 
получится, если записать 
и учесть, что члены последней 
мы ортогональны друг другу — это в свою очередь следует из (б). Коэффициент множественной корреляции 
определяется как коэффициент корреляции между вектором у и вектором значений у. Можно показать, что его квадрат равен отношению соответствующих сумм квадратов 
Рассмотрим следующий пример.
Пример 12.1.1. Метод наименьших квадратов для построения прямой, проходящей через начало координат. Данные таковы:
Соответствующие суммы квадратов и перекрестных произведений следующие:
Оценка метода наименьших квадратов
Таким образом, подогнанная прямая имеет вид 
Расчетные значения:
Сумма квадратов и ее разложение:
Квадрат коэффициента множественной корреляции:
