8.3.4. ОСНОВНЫЕ ТОЖДЕСТВА
Для исходной модели (без ограничений) есть следующее важное тождество относительно переменной и:
или, что короче,
Это можно показать, записав
в виде
откуда и следует (8.3.1), если заметить, что
поскольку в нормальных уравнениях
Так как
подставляя в (8.3.2) частное значение
получим уравнение
Вспомнив, что
мы можем записать соответствующее уравнение в терминах вторичных случайных величин:
При выполнении предпосылок из раздела 8.3.1 величина представляет собой сумму квадратов
независимых нормально распределенных случайных величин, каждая из которых имеет нулевое среднее и дисперсию
значит
распределена как
[см. раздел 2.5.4, а)]. Поскольку
имеет распределение
распределение первого слагаемого в правой части (8.3.4) можно найти с помощью стандартной теоремы. Это распределение имеет вид
Более того, можно показать, что оба слагаемых в правой части этого выражения независимы. Как следует из теоремы
— случайная величина с распределением
Следовательно, при наших жестких предположениях можно легко получить, что
как и было установлено в разделе 8.2.4.
Из приведенного выше уравнения (8.3.3) не удается вычислить значение
поскольку оно содержит сумму квадратов относительно неизвестного ожидаемого значения. Однако, подставив в уравнение
получим
Учитывая, что
можно переписать это выражение так:
Полученное соотношение известно как тождество дисперсионного анализа
с разделом 5.8.7]. Оно показывает, что общую сумму квадратов
можно разделить на две части:
— сумму квадратов, обусловленную моделью, которая подогнана к
данным (СКМ), и
остаточную сумму квадратов (ОСК), представляющую собой ту остаточную вариацию в данных, которая еще сохраняется после того, как модель подогнана к данным, т. е.
Для проверки различных гипотез в последующих разделах мы будем пользоваться множеством других тождеств дисперсионного анализа при разбиении СКМ на компоненты, связанные с различными источниками вариации.
В выражении (8.3.5) нет неизвестных, и мы можем вычислить по нему
следующим образом:
что позволяет избежать возведения в квадрат и сложения отдельных остатков. Из системы нормальных уравнений видно, что, поскольку
, СКМ можно еще записать в виде
, т. е. как произведение
на правую часть системы нормальных уравнений. Следовательно,
получается и из
Эта формула использовалась раньше для вычисления
в примерах 8.2.11 и 8.2.14.
Выше мы отмечали, что общая сумма квадратов
равна
что представляет собой остаточную сумму квадратов при
, т. е. это сумма остатков, полученных при условии, что ни один параметр не подбирался по имеющимся данным. Тогда
— та величина, на которую уменьшаются остатки в результате построения модели
Чтобы подчеркнуть это, мы будем обозначать СКМ как
и рассматривать эту величину как уменьшение общей суммы квадратов, обусловленное подбором
.
Пусть теперь снова
обозначает МНК-оценку
при условии, что верна гипотеза Н. Подставив
в основное тождество (8.3.2), получим
Так как
остаточная сумма квадратов для модели, ограниченной согласно гипотезе Н, дополнительная подгонка (т. е. дополнительное уменьшение
в общей сумме квадратов), когда подбирается модель без ограничений, получается из выражения
С другой стороны, мы можем думать об этом увеличении в остатках как об отсутствии подгонки (т. е. соответствия между данными и моделью), когда на в наложены ограничения Н. Эту разность часто называют суммой квадратов, обусловленной гипотезой. Хотя (8.3.8) может пригодиться при поиске дополнительного уменьшения в некоторых простейших случаях, приведенных ниже, общий подход заключается в вычислении обоих остатков и вычитании.