5.4. Расширение регрессионной матрицы

Предположим, что наша исходная модель регрессии расширяется путем добавления еще одного регрессора, скажем так что она принимает вид

Как это повлияет на ширину доверительных интервалов, приведенных в § 5.2 и 5.3? Ответ оказывается весьма неожиданным;

эти интервалы будут не менее широкими, чем прежде, а в действительности почти всегда будут более широкими! Чтобы убедиться в этом, используем общую теорию § 3.7 и покажем, что (дисперсия оценки не может уменьшаться при включении в модель дополнительных регрессоров. Полагая

мы можем представить модель в виде

Оценкой наименьших квадратов для 8 является

В модели новая оценка для значения при заданном наборе значений регрессоров равна

из теоремы (разд. 3.7.1) получаем

Производя в правой части умножение и выделяя полный квадрат, имеем

Равенство в (5.23) достигается в том и только том случае, когда Поскольку дисперсии и ковариации не изменяются при изменении начала отсчета, указанный результат сохраняет силу, даже если и не равняется или При этом обе оценки являются смещенными оценками для Таким образом, мы приходим к следующему заключению. Хотя, расширяя модель, иногда можно добиться уменьшения смещения и улучшения согласия с экспериментальными данными, дисперсию оценки отклика уменьшить таким способом невозможно. приводят пример, в котором переход от одномерной линейной к квадратичной модели дает десятикратное увеличение дисперсии прогноза в некоторой точке.

Если в качестве оценки качества предсказания используется среднеквадратичная ошибка, то с включением в модель

дополнительных регрессоров эта ошибка может как возрастать, так и убывать. Используемая для сравнения различных моделей регрессии -статистика Мэлоуса (см. разд. основывается на "средней" среднеквадратичной ошибке.

Полагая и полагая вектор равным вектору-столбцу, у которого на месте стоит единица, а на всех остальных — нули, мы, используя указанную выше теорию, приходим к неравенству Равенство достигается здесь тогда и только тогда, когда Оно выполняется, если вектор ортогонален столбцам матрицы В общем случае дисперсия оценки наименьших квадратов для при расширении модели возрастает.

Из всего сказанного надо извлечь следующий урок: необходимо избегать "переусложнения" модели регрессии.

Упражнения к гл. 5

(см. скан)