8.3.4. ОСНОВНЫЕ ТОЖДЕСТВА
Для исходной модели (без ограничений) есть следующее важное тождество относительно переменной и:
или, что короче,
Это можно показать, записав в виде откуда и следует (8.3.1), если заметить, что поскольку в нормальных уравнениях
Так как подставляя в (8.3.2) частное значение получим уравнение
Вспомнив, что мы можем записать соответствующее уравнение в терминах вторичных случайных величин:
При выполнении предпосылок из раздела 8.3.1 величина представляет собой сумму квадратов независимых нормально распределенных случайных величин, каждая из которых имеет нулевое среднее и дисперсию значит распределена как [см. раздел 2.5.4, а)]. Поскольку имеет распределение распределение первого слагаемого в правой части (8.3.4) можно найти с помощью стандартной теоремы. Это распределение имеет вид Более того, можно показать, что оба слагаемых в правой части этого выражения независимы. Как следует из теоремы — случайная величина с распределением Следовательно, при наших жестких предположениях можно легко получить, что как и было установлено в разделе 8.2.4.
Из приведенного выше уравнения (8.3.3) не удается вычислить значение поскольку оно содержит сумму квадратов относительно неизвестного ожидаемого значения. Однако, подставив в уравнение получим
Учитывая, что можно переписать это выражение так:
Полученное соотношение известно как тождество дисперсионного анализа с разделом 5.8.7]. Оно показывает, что общую сумму квадратов можно разделить на две части: — сумму квадратов, обусловленную моделью, которая подогнана к
данным (СКМ), и остаточную сумму квадратов (ОСК), представляющую собой ту остаточную вариацию в данных, которая еще сохраняется после того, как модель подогнана к данным, т. е.
Для проверки различных гипотез в последующих разделах мы будем пользоваться множеством других тождеств дисперсионного анализа при разбиении СКМ на компоненты, связанные с различными источниками вариации.
В выражении (8.3.5) нет неизвестных, и мы можем вычислить по нему следующим образом:
что позволяет избежать возведения в квадрат и сложения отдельных остатков. Из системы нормальных уравнений видно, что, поскольку , СКМ можно еще записать в виде , т. е. как произведение на правую часть системы нормальных уравнений. Следовательно, получается и из
Эта формула использовалась раньше для вычисления в примерах 8.2.11 и 8.2.14.
Выше мы отмечали, что общая сумма квадратов равна что представляет собой остаточную сумму квадратов при , т. е. это сумма остатков, полученных при условии, что ни один параметр не подбирался по имеющимся данным. Тогда — та величина, на которую уменьшаются остатки в результате построения модели Чтобы подчеркнуть это, мы будем обозначать СКМ как и рассматривать эту величину как уменьшение общей суммы квадратов, обусловленное подбором .
Пусть теперь снова обозначает МНК-оценку при условии, что верна гипотеза Н. Подставив в основное тождество (8.3.2), получим
Так как остаточная сумма квадратов для модели, ограниченной согласно гипотезе Н, дополнительная подгонка (т. е. дополнительное уменьшение в общей сумме квадратов), когда подбирается модель без ограничений, получается из выражения
С другой стороны, мы можем думать об этом увеличении в остатках как об отсутствии подгонки (т. е. соответствия между данными и моделью), когда на в наложены ограничения Н. Эту разность часто называют суммой квадратов, обусловленной гипотезой. Хотя (8.3.8) может пригодиться при поиске дополнительного уменьшения в некоторых простейших случаях, приведенных ниже, общий подход заключается в вычислении обоих остатков и вычитании.