2.7. ПРИНЦИП «ДОПОЛНИТЕЛЬНОЙ СУММЫ КВАДРАТОВ»

В регрессионных задачах нередко возникает вопрос, стоит ли включать в модель определенные члены. Этот вопрос можно исследовать, изучая дополнительную долю или часть суммы квадратов, порожденной регрессией, которая связана с включением в модель рассматриваемых членов. Средний квадрат, который получается из этой дополнительной суммы, может быть затем сопоставлен с оценкой параметра чтобы выяснить, имеется ли значимое различие между ними. Если средний квадрат значимо превышает оценку то такие члены следует включить в модель. В противном случае их можно рассматривать как излишние и исключить из модели.

Мы уже видели один такой пример при подборе уравнения прямой линии, где величина представляла собой дополнительную сумму квадратов, обусловленную включением в модель члена Теперь мы изложим более общую процедуру. Предположим, что есть известные функции основных переменных и допустим, что значения и соответствующих им откликов нам известны. Рассмотрим теперь две модели.

1. . Допустим, что мы получили следующие МНК-оценки: , и пусть причем модель адекватна. Пусть далее оценка параметра получается из остатков, соответствующих модели 1.

2. . Величины в модели 2 те же самые функции, что и в модели 1, когда их индексы одинаковые. Заметим, однако, что в модели 2 меньше членов, чем в модели 1.

Предположим далее, что мы получили следующие МНК-оценки:

(Примечание. Они могут совпадать или не совпадать с оценками приведенными выше. Если они одинаковы, то являются ортогональными линейными функциями для Это имеет место, когда в модели 1 все первые столбцов матрицы X ортогональны последним

столбцам. Подобные случаи мы рассмотрим в следующих главах.)

Обозначим для второй модели Тогда есть дополнительная сумма квадратов, связанная с включением членов в модель 1. Так как имеет степень свободы, а степень свободы, величина имеет соответственно степеней свободы. Можно показать, что если то Еще укажем, что если ошибки распределены нормально, то величина будет распределена как и будет независимой от Это означает, что мы можем сравнить величину помощи -критерия, где число степеней свободы, с которым определена оценка и использовать эту процедуру для проверки гипотезы

Для удобства можно записать величину как однако мы должны иметь в виду, что на самом деле здесь рассматриваются две модели, хотя из обозначений это и не очевидно. Эту величину называют суммой квадратов, связанной с при условии, что коэффициенты входят в модель. Путем дальнейшего приложения этого принципа мы можем получить последовательно для любой регрессионной модели величины Все эти суммы квадратов статистически независимы от и равны своим средним квадратам, так как имеют по одной степени свободы. Средние квадраты могут быть сопоставлены с величиной с помощью ряда -критериев. Такие проверки полезны, когда члены модели имеют логично обоснованный порядок записи, как было бы, например, если бы Тогда можно сделать заключение о том, как много членов должно быть в модели.

Если члены, содержащиеся в модели, сгруппированы естественным образом — так, как, скажем, это имеет место в полиномиальных моделях, содержащих: а) параметр , б) члены первого порядка, в) члены второго порядка, — то мы можем построить различные дополнительные суммы квадратов, например (параметры отвечающие членам первого порядка (параметры отвечающие членам второго порядка параметры соответствующие членам первого порядка), и сравнить их с величиной Принцип дополнительной суммы квадратов можно использовать по-разному, чтобы получить такое разложение суммы квадратов, обусловленной регрессией, которое кажется приемлемым для рассматриваемой задачи. Число степеней свободы для каждой такой суммы квадратов будет равно числу параметров, указанных в скобках до вертикальной линии. (Исключая тот случай, когда оценки линейно зависимы, что имеет место, когда есть особенная матрица и нормальные уравнения оказываются линейно зависимыми. Число степеней свободы при этом равно максимальному числу линейно независимых оценок в рассматриваемом множестве оценок.) Эти дополнительные суммы распределены независимо от Соответствующие средние квадраты, равные отношению суммы квадратов к числу степеней свободы, можно поделить на и получить таким образом -отношения для проверки

гипотез о том, что истинные значения коэффициентов, оценки которых создают дополнительные суммы квадратов, равны нулю. Вопрос о математическом ожидании дополнительной суммы квадратов изложен в приложении 2Б.

Принцип дополнительной суммы квадратов фактически приводит к особому случаю проверки общей линейной гипотезы. При более общем подходе дополнительная сумма квадратов отклонений вычисляется исходя из остаточных сумм квадратов, а не из сумм квадратов, обусловленных регрессией. Поскольку полная сумма квадратов одинакова при обоих способах регрессионных вычислений, мы получим те же самые численные результаты независимо от того, воспользуемся мы разностью сумм квадратов, обусловленных регрессией, или разностью остаточных сумм квадратов.

Прежде чем обсуждать вопросы, связанные с проверкой гипотез (см. параграф 2.10), рассмотрим один важный случай применения принципа дополнительной суммы квадратов.