8.3.5. ПРОВЕРКИ ГИПОТЕЗ В ОРТОГОНАЛЬНЫХ ПЛАНАХ

Рассмотрим ортогональную модель, в которой диагональна с МНК-оценкой компонента которой получается из . Такая диагональная структура матрицы позволяет выразить сумму квадратов, обусловленную подбором модели, в явной форме:

а (8.3.6) превращается в

Наиболее простая из представляющих интерес гипотез заключается в том, что некоторый параметр нашей модели, скажем равен нулю, т. е. он не нужен в модели, описывающей имеющиеся данные. Такая гипотеза в зависимости от контекста может интерпретироваться по-разному. Это, например, может означать а) отсутствие эффекта в односторонней классификации, в которой группы различаются получаемой обработкой, или б) что член степени не нужен в полиномиальной регрессионной модели.

Для ортогональных моделей тот факт, что каждое из нормальных уравнений содержит только один параметр, чрезвычайно упрощает многократное повторное вычисление оценок при Мы просто пренебрегаем уравнением, поскольку оно уже не нужно, а все остальные оставляем без перемен. Следовательно, МНК-оценки всех компонентов вектора , кроме , остаются неизменными независимо от того, истинна ли гипотеза Н, а значит, отличаются только компонентом, который согласно гипотезе равен нулю в . Отсюда дополнительное уменьшение, обусловленное включением в модель равно согласно . Мы будем обозначать эту величину или короче . Как упоминалось в разделе 8.3.3, проверка этой гипотезы сводится к сравнению с подходящим стандартом. Точный метод должен соответствовать предположениям, что

1) — реализация случайной величины

2) — нормально распределенная случайная величина с параметрами так что если Н верна то случайная величина, распределенная как с математическим ожиданием ;

3) — реализация представляющая собой случайную величину с распределением и математическим ожиданием [см. раздел 2.5.4].

Таким образом, мы сравниваем реализации (эмпирические значения) поскольку обе эти величины имеют одно и то же математическое ожидание когда гипотеза Н верна. Кроме того, можно показать, что и независимы, так что имеет -распределение [см. раздел 2.5.6] со степенями свободы 1 и , когда гипотеза Н верна. Соответствующую критическую область можно отыскать, обнаружив, что когда Н ложна, Это свойство позволяет записать так:

откуда

Итак, хотя при ложной гипотезе Н малые значения возможны, мы не должны рассматривать события, связанные с их появлением, как аргумент против Н. Просто доверительная область задается в виде , где с — константа, Следовательно, критерий размера . отвергает гипотезу, что если Заметим, что , где [см. раздел 5.8.2], и мы видим, что это эквивалентно -критерию, который отвергает гипотезу, что когда .

Для проверки, не равны ли нулю одновременно несколько компонентов вектора , можно использовать простой подход. Пусть обозначает некоторое подмножество из включающее членов, и пусть Н состоит в том, что Для оценки при условии Н заметим, что нормальные уравнения модели с ограничениями в точности те же, что и для полной модели, и отличаются только тем, что исключены те уравнений, что соответствуют параметрам из . Следовательно, различаются только в тех компонентах, которые соответствуют параметрам из причем в на этих местах стоят нули. Отсюда, используя (8.3.8), найдем, что дополнительная подгонка, когда не ограничена условием Н, есть

где обозначает суммирование по значениям, соответствующим параметрам из Мы обозначим дополнительное уменьшение остаточной суммы, когда параметры включены в модель, через Отметим, что

в частности,

Это важная формула. Она показывает, как можно разложить на компонентов уменьшение общей суммы квадратов, обусловленное построением модели причем так, чтобы компонент соответствовал вкладу в это уменьшение. Отметим, что вклад в любого параметра, входящего в всегда одинаков независимо от того, какие еще параметры входят в Мы еще увидим, что это свойство оказывается несправедливым для неортогональных планов.

Поскольку — это реализация то если гипотеза Н верна, будет суммой квадратов независимых нормально распределенных случайных величин, каждая из которых имеет среднее нуль и дисперсию Поэтому имеет распределение огхгт при верной Н. Следовательно, мы сравниваем т. е. если Н верна, то критерий снова приводит к сравнению двух оценок дисперсии Действительно, независимо от так что распределено как когда гипотеза Н верна. Математическое ожидание возрастает, если гипотеза Н ложна, и критерий размера а отвергает если где

Принято обобщать такие процедуры в таблицах дисперсионного анализа Элементарный дисперсионный анализ представляется в следующей форме:

(см. скан)

Можно сделать эту таблицу более наглядной и удобной для проверки гипотез при разбиении СКМ:

(см. скан)

В этой таблице «Обусловленный означает вклад коэффициента в СКМ. Это как раз та величина, на которую возросло бы если бы было исключено из модели. Таким образом, проверяя мы получаем и сравниваем . А для проверки получаем и сравниваем

Иногда интересно проверить, не отличается ли некоторый параметр от заданного ненулевого значения, причем это требует лишь незначительной модификации изложенного выше подхода. Пусть мы хотим проверить гипотезу где задано. Как и раньше, отличаются только компонентом, который теперь равен Следовательно, дополнительное уменьшение в обусловленное включением в модель свободной оценки , вместо равно Вся остальная аргументация та же, что и раньше, только с использованием этой величины вместо . Значит, когда Н верна, распределено как и проверка сводится к сравнению

Аналогично, если надо проверить где — множество из значений , а с — заданный вектор с элементами, то возрастание остатков вычисляется так:

Когда гипотеза Н верна, это реализация случайной величины, распределенной как и мы сравниваем - распределением.

Покажем теперь на примерах, как «работают» эти методы. Пример 8.3.3. Односторонняя классификация: проверка гипотезы, что все средние имеют одно и то же общее значение. В таком случае с моделью

связано уменьшение, обусловленное вычислением средних и равное Имеем (число наблюдений в группе) и (среднее наблюдений в группе), откуда Вот таблица дисперсионного анализа:

(см. скан)

На самом деле эта таблица представляет ограниченный интерес, поскольку обычно проверка, имеет ди отдельная группа (или совокупность групп) нулевое среднее, не актуальна. Давайте вместо этого рассмотрим проверку гипотезы где задано. В принятых нами обозначениях , а используя (8.3.14), получим

Когда гипотеза верна, это наблюдение из распределения и мы можем оценить свидетельства против непосредственно, сравнивая с -распределением.

Пример 8.3.4. Проверка индивидуальных коэффициентов полиномиальной регрессии, полученной с помощью ортогональных полиномов. По данным с помощью ортогональных полиномов подобрана следующая модель:

МНК-оценка для равна:

а сумма квадратов (уменьшение), обусловленная аесть

что приводит к такой таблице дисперсионного анализа:

(см. скан)

Теперь, если известно (на основе опыта или из теории), что наша модель корректна, мы можем, как указано выше, проверить, не равен ли нулю любой из коэффициентов сравнивая

Пусть, например, мы хотим проверить, не окажется ли адекватным представление полиномом меньшей степени, скажем Поскольку — единственный член в модели, содержащий такая проверка означает испытание гипотезы а ее мы можем проверить, сравнивая Чаще, однако, экспериментатор просто хочет приблизить свои данные полиномом для аппроксимации точной зависимости, которая, увы, неизвестна. В частности, не известно, до какой степени надо наращивать аппроксимирующий полином. Конечно, всегда можно аппроксимировать данные точно, взяв полином степени . Но мы хотим добиться удовлетворительной аппроксимации полиномом низкой степени. Один из подходов к решению этой задачи заключается в том, чтобы строить последовательность полиномов возрастающих степеней и использовать соответствующий

дисперсионный анализ и -критерий для оценки вклада в модель того члена, который включен последним. Решение заканчивается, когда считается, что два последовательных члена полинома оказались равными нулю. Это необходимое условие, поскольку если подгонять к данным полином нечетной степени, то члены четных степеней (не считая свободного члена), скорее всего, будут вносить малый вклад, и наоборот. Проиллюстрируем этот метод на примере об осадках, который рассматривался ранее [см. пример 8.2.15]. График для этих данных показывает, что должна подойти квадратичная или, быть может, кубическая аппроксимация.

Начнем с модели первого порядка

Получаются оценки и таблица дисперсионного анализа имеет вид:

(см. скан)

Видно, что коэффициент не слишком сильно снижает остатки по сравнению с моделью, которая включала бы только и имела бы 1,922. Для более точной оценки сравним уменьшение, равное 0,496, с подходящим масштабом, а именно с оценкой дисперсии ошибки, равной 0,1426, что дает -отношение, равное 3,48. Вероятность того, что случайная величина с распределением превзойдет это значение, гораздо больше, чем так что проверка не дает оснований для отбрасывания гипотезы

Если данные нанести на график, сразу ясно, что модель не может дать удовлетворительного описания, откуда снова видна необходимость именно того правила остановки, которое было сформулировано ранее. Подберем теперь квадратичную модель:

Оценки для и , остаются теми же, что и в модели первого порядка, Вот таблица дисперсионного анализа:

(см. скан)

В этом случае -отношение равно 9,23, а поскольку налицо основания для отбрасывания гипотезы

Переходим к подбору кубической модели

для которой и таблица дисперсионного анализа такова:

(см. скан)

На этот раз -отношение равно 4,84. Поскольку мы приходим к заключению, что основания для отбрасывания гипотезы, что недостаточны.

Для модели четвертого порядка

находим, что и таблица дисперсионного анализа такова:

(см. скан)

F-отношение равно 8,66, а из таблиц находим и Отбрасывать ли гипотезу, что Прежде чем сделать это, стоит учесть следующие моменты.

а) Критерий скажем, для основан на предположении, что модель степени верна, ошибки независимы и извлечено из . Если же на самом деле нужна модель более высокой степени, то остатки в модели степени не будут служить оценками для (что предполагает критерий), поскольку они будут смещенными из-за вкладов ненулевых членов более высоких порядков. Появления вполне возможных здесь больших ошибок обычно удается избежать, если нанести на график данные и убедиться в том, что требование равенства нулю двух последовательных коэффициентов выполняется. В нашем примере уже первый критерий показал, что 71 может быть равно нулю. Однако возможны различные выводы. Так, если строить критерий с использованием остатков от последующей модели, т. е. если служит подходящей оценкой для , то соответствующим значением -отношения будет 6,36.

б) Относительную важность различных параметров можно оценить непосредственным сравнением их вкладов в снижение дисперсии. Выходит, что и имеют примерно одинаковые вклады в общую сумму квадратов, составляющие приблизительно половину от вклада Отсюда следуют одинаковые представления о гипотезах — ни одну из них не стоит отвергать, если не отвергнута гипотеза

Если принять во внимание эти замечания, то становится ясно, что для интерпретации -критерия нужен гибкий подход и что вместо

автоматического отбрасывания на основе того, что 8,66 лежит за верхней 2,5%-ной точкой распределения более целесообразно решить, что аргументы против слабы. Таким образом, мы приходим к выводу, что имеющиеся данные вполне приемлемо аппроксимируются квадратичной моделью