12.1.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ В СЛУЧАЕ ДВУХ ОБЪЯСНЯЮЩИХ ПЕРЕМЕННЫХ

Теория метода наименьших квадратов легко обобщается на ситуацию с объясняющими переменными, однако общий случай может быть удачно продемонстрирован для Доказательства примерно те же, что и в случае, когда

Значения минимизируют сумму квадратов тогда и только тогда, когда

т. е. когда являются решениями системы уравнений

При

и

Коэффициент корреляции определяется так же, как и ранее:

Условия ортогональности приводят к системе нормальных уравнений:

Решением этой системы является пара чисел которая может быть найдена по формуле:

Пример 12.1.2. Метод наименьших квадратов в двухпараметрическом случае. Имеются следующие данные:

Оценки метода наименьших квадратов:

Подогнанная модель:

Пример 12.1.3. Парная линейная регрессия. Для того чтобы оценить параметры модели простой линейной регресии

положим Тогда

Оценками метода наименьших квадратов будут

Положим

Тогда предыдущая запись может быть упрощена:

Подогнанная прямая имеет вид она проходит через «центр тяжести» ; тангенс угла ее наклона равен:

Доказательство эквивалентности системы нормальных уравнений и задачи минимизации суммы квадратов полностью аналогично доказательству в случае, когда Напомним, что оценки метода наименьших квадратов получены в результате решения системы нормальных уравнений с помощью обращения матрицы. Вектор отклонений ортогонален вектору расчетных значений у, что, как и прежде, ведет к разложению суммы квадратов.

В случае когда в отличие от одномерной ситуации существует возможность разложения суммы квадратов на составляющие, отвечающие и Рассмотрим рис. 12.1.6. Он нарисован в плоскости, натянутой на векторы Этой плоскости принадлежит также вектор у. Насколько значение обусловлено вектором и насколько оно обусловлено вектором Для того чтобы ответить на эти вопросы, необходимо более детально рассмотреть проблему подгонки регрессионного уравнения, а также ввести дополнительные обозначения.

Обозначим через вектор расчетных значений у при минимизации очевидно, что принадлежит линейному подпространству, натянутому на вектор [пишем ]. Аналогично Пусть — вектор расчетных значений у, полученный при минимизации суммы квадратов одновременно по Таким образом т. е. линейному подпространству размерности 2, натянутому на векторы X, и Выкладки упрощаются, если скалярное произведение

Рис. 12.1.6. Вектор у лежит в плоскости, натянутой на векторы

Ортогональный случай Здесь

Проще всего доказать эти результаты, заметив, что нормальным уравнением для будет уравнение откуда следует, что Аналогично уравнение ведет к тому, что Однако если то оба уравнения приводят к одному и тому же значению поэтому Аналогичные рассуждения применимы и для коэффициента откуда следует, что Для доказательства второго равенства достаточно заметить, что при имеем Последнее, в частности, приводит к разложению суммы квадратов на составляющие:

Пример 12.1.4. Подгонка в условиях ортогонального плана. Возьмем данные из примера 12.1.1. Матрица скалярных произведений равна:

Сумма квадратов Далее нетрудно проверить:

Разложение суммы квадратов представлено в следующей таблице:

Рис. 12.1.7. В случае б) существуют два способа разложения вектора подогнанных значений