8.3.8. ОБЩИЕ ЛИНЕЙНЫЕ ГИПОТЕЗЫ

Все гипотезы, обсуждавшиеся до сих пор, были общими линейными гипотезами. Общие линейные гипотезы Н налагают на вектор параметров линейные ограничения, т. е. приписывают некоторые определенные значения заданным линейным комбинациям параметров в виде уравнений такого типа:

где и коэффициенты и константы с, известны. В матричной форме эти уравнения можно записать так:

где Н — матрица размера с элементами Например,

это все случаи, с которыми мы уже встречались. А вот важный пример системы общих линейных гипотез, с которыми мы еще не знакомы:

что можно представить короче:

Отметим, что существует различие между когда общее значение не определено, и тем частным случаем когда оно задано, а именно

Для проверки гипотез Н мы пользуемся тем же общим подходом, что и в уже рассмотренных частных случаях: берем в качестве исходных данных остатки для полной модели и оцениваем важность дополнительного уменьшения общей суммы квадратов, когда модель не ограничена условиями Н.

Как обычно, для полной модели имеем

где — уменьшение, обусловленное вектором степенями свободы, остатки с степенями свободы.

Для модели с ограничениями при условии Н обозначим уменьшение в через , так что

где — остатки в модели с ограничениями.

Мы могли видеть, что предположение об ошибках как о независимых наблюдениях с распределением ведет к тому, что оказывается распределенным как На основании этого можно далее показать, что если гипотеза Н верна, то дополнительное уменьшение имеет распределение независимое от распределения где — число математически независимых уравнений, определяемых Н. Величина И называется порядком системы Н и равна рангу матрицы Н.

В приведенных выше примерах мы заметили, что На и содержат по независимых условий, налагаемых на вектор в (в каждом из этих случаев матрицей системы гипотез служит единичная матрица поэтому каждая из них имеет порядок Для гипотезы поря-, равен 1. А для содержащей независимых условий на в, порядок равен

Как отмечалось, все эти гипотезы имеют полный ранг и не содержат избыточных условий. Для и для наконец, для Когда некоторые из уравнений оказываются избыточными. Это показывает добавление к гипотезе ограничений типа которые не создают дополнительных связей, зато увеличивают до .

Основу полученных ранее результатов о распределениях прежде всего составляет то, что когда гипотеза Н верна, мы можем

воспользоваться уравнениями, определяемыми Н для исключения из параметров. А это позволяет выразить эти параметры (если какой-либо выбор возможен, то не важно, какие именно значения И выбраны) в терминах остальных параметров. Обозначим оставшиеся параметры через а исключенные — через Тогда решения для можно подставить обратно в исходную модель. Благодаря этому удается выразить модель с ограничениями через новую матрицу плана относительно параметров, которые теперь не связаны никакими ограничениями. Значит, при условии Н нашу модель можно записать так: где содержит компонент. А к такой модели приложима стандартная теория, поэтому МНК-оценка для при условии Н (в предположении, что матрица не особенная) есть , а остатки равны: . При обычных предположениях об ошибках распределена как Поскольку , остается только установить независимость и R, чтобы доказать, что распределено как Гипотезу Н можно проверить с помощью обычной статистики

Если гипотеза Н верна, то — реализация случайной величины с распределением Верхний хвост этого распределения используется в качестве ожидаемого превышения, когда гипотеза Н ложна.

Все эти результаты можно суммировать в виде следующей таблицы дисперсионного анализа для проверки гипотез Н:

В этой таблице — уменьшение, обусловленное подбором модели делится на две части. Первая из них — величина , на которую уменьшается , когда гипотеза Н верна, а вторая — — дополнительное уменьшение, когда в не связано ограничениями гипотезы Н.

Все предыдущие примеры — варианты этой таблицы. Если, например, Н соответствует , где содержит параметров из то мы имеем , где обозначает остальные параметры из . Отсюда и мы получаем дисперсионный анализ использованный в предыдущих обсуждениях наших гипотез.

Рассмотрим теперь несколько новых примеров и покажем проверку более сложных гипотез с помощью изложенной выше теории.

Пример 8.3.8. Критерий равенства средних в односторонней классификации. В примере 8.3.3 было показано, как проверяется гипотеза Но, что все группы имеют известное общее среднее Теперь рассмотрим более общие гипотезы Н, что средние имеют общее, но не известное значение. Когда план Ортогонален, то дополнительное уменьшение легко отыскивается с помощью (8.3.8), что уже обсуждалось. Для иллюстрации общего метода найдем теперь непосредственно и для сравнения сначала проверим гипотезу таким способом.

Напомним из примера 8.2.14, что остатки для полной модели равны:

где — среднее из наблюдений в группе с номером — реализация распределенная как

При условии Но модель имеет вид Слева нет неизвестных параметров, поэтому

что равно

Следовательно,

Полная модель содержит I параметров, каждый из которых равен по условию , и в силу этого она имеет порядок I. А вот статистика, лежащая в основе критерия:

Когда гипотеза верна, это наблюдение из распределения . Однако в большинстве практических ситуаций гораздо интереснее проверить гипотезу, что все равны без указания их общего значения, поскольку Оно практически не бывает известно. Как уже отмечалось, когда мы хотим проверить гипотезу где не известно, порядок оказывается равным

При условии Н модель имеет вид поэтому, рассматривая в данный момент просто как алгебраическую переменную, мы должны минимизировать по такую сумму квадратов:

Дифференцируя по и подставляя вместо ее оценку получим нормальное уравнение

решением которого будет , т. е. общее среднее по всем наблюдениям. Вот остатки для этой модели:

и дополнительное уменьшение

что после упрощения дает

Когда гипотеза Н верна, распределено как Статистика, лежащая в основе критерия, такова:

Для верной гипотезы Н это наблюдение из распределения .

Пример 8.3.9. Вернемся к данным об ускорении силы тяжести, для которых представляют интерес следующие гипотезы:

Заметим, что Н предполагает общее значение для всех параметров, которое, однако, не задано (допустим, Значит, Н — более общая

гипотеза, чем вторая гипотеза из примера 8.3.7, где утверждалось, что общее значение равно 981,2, и в данном случае мы можем ожидать лучшего соответствия. Для проверки Я, нам понадобится остаточная сумма квадратов для модели с ограничениями, которая устанавливается из соотношений:

или в матричной форме:

откуда

А вот и остатки: —0,0430, —0,0030, 0,1390, —0,0310, 0,0647, 0,0360, 0,0140, 0,1431, 0,0380, откуда Это чуть-чуть меньше, чем остатки для гипотезы об общем значении, равном 981,2, которые были равны 0,0535837, так что мы снова можем ожидать большой величины критерия-отношения. В дальнейших вычислениях надо помнить, что наше общее значение не определено и порядок равен 4. Имеем а искомое значение критерия есть Ясно, что мы не можем принять гипотезу о каком-либо общем значении.

Займемся теперь гипотезой . Снова заметим, что это более общая гипотеза, чем гипотеза об общем значении 981,2, рассмотренная ранее в примере 8.3.7. Для модели, удовлетворяющей этой гипотезе, есть два способа нахождения остатков. Первый заключается в том, что мы можем воспользоваться ограничением для исключения одного параметра, скажем решая относительно него

уравнение и записывая уравнения модели, пользуясь только переменными Тогда значит, все уравнения модели не изменятся, за исключением первого и седьмого, которые примут вид

и

В матричной форме имеем:

Поскольку при таком подходе на не наложены никакие ограничения, теперь можно применить для нахождения стандартную теорию. Обозначив предыдущее соотношение через , получим

МНК-оценка для равна: откуда

Теперь появились МНК-оценки для при условии . А МНК-оценка для линейной функции т. е. для равна:

Отсюда можно найти сумму квадратов остатков либо из либо вычисляя индивидуальные остатки, а затем возводя их в квадрат и складывая. Мы нашли, что

Альтернативный подход заключается в сохранении всех пяти параметров и минимизации суммы:

при условии, что

Введя неопределенный множитель Лагранжа, получим безусловный минимум Дифференцируя Т по и соответственно и подставляя получим

Ограничение означает, что оценки должны удовлетворять соотношению Эти шесть уравнений можно решить относительно (на этом этапе X представляет собой мешающий параметр, который надо исключить). Мы получим те же МНК-оценки параметров при условии что были получены ранее методом исключения одного параметра. Теперь можно определить остатки для модели с ограничениями, подставляя найденные оценки в уравнения исходной модели.

Для проверки гипотез нам нужно значение Заметим, что для гипотезы порядок равен 1, поэтому формула для критерия упрощается: . Представление о том, что среднее значение для пяти мест измерения равно 981,2 крайне неправдоподобно.

В качестве последней иллюстрации на данных о силе тяжести возьмем гипотезу для которой уравнения примут вид

или

Обозначив эти уравнения через получим

МНК-оценка для при условии оказались равными:

а остатки таковы:

- 0,00161, откуда Поскольку порядок равен 1, вычисляем Тогда так что аргументы против гипотезы слабоваты.

8.4. ЛИТЕРАТУРА ДЛЯ ДАЛЬНЕЙШЕГО ЧТЕНИЯ

(см. скан)

(см. скан)