10.4. ПРОВЕРКА НЕЗАВИСИМОСТИ

10.4.1. Случай, когда оценки наименьших квадратов являются эффективными

В гл. 6 мы рассматривали задачу проверки нулевой гипотезы о том, что ковариационная матрица совокупности наблюдений пропорциональна единичной матрице, против частных альтернатив наличия сериальной корреляции при условии, что математические ожидания наблюдаемых величин или все равнялись нулю, или все были равны некоторой отличной от нуля постоянной величине. В настоящем параграфе мы займемся этой задачей в предположении, что последовательность математических ожиданий наблюдаемых величин образует линейную функцию регрессии. Подобным же образом в этой ситуации могут быть исследованы задачи проверки порядка зависимости и оценки порядка зависимости.

Будем предполагать, что плотность распределения вектора равна

где

матрица размера ранга вектор размерности Тогда вектор у нормально распределен с вектором

средних

и ковариационной матрицей

Константа К равна

Наиболее интересна проверка нулевой гипотезы для случая, когда т. е. проверка гипотезы независимости против альтернативы, состоящей в том, что ковариационная матрица имеет вид При этом предполагается, что известные матрицы, а неизвестны. Обычно альтернативной гипотезой (характеризующейся матрицей является наличие сериальной корреляции.

Прежде всего рассмотрим случай где матрица С невырождена, а V состоит из характеристических векторов матрицы 2 (причем ). Функция регрессии равна здесь где некоторое преобразование параметров.

Как было показано в разд. 6.6.2, в этом случае статистики

(где - характеристический корень матрицы соответствующий характеристическому вектору образуют достаточное множество статистик для параметров Здесь оценка наименьших квадратов и марковская оценка для Если то наилучший критерий для проверки нулевой гипотезы основывается на статистике и область принятия гипотезы зависит от условного распределения при заданных значениях . В частности, критерий для проверки гипотезы основывается на статистике

При распределение не зависит ни от (теорема 6.7.1), ни от То (теорема 6.7.2).

Теорема 10.4.1. Если вектор у имеет плотность (1) с определены соотношением (2), причем матрица положительно определена, и если матрица состоит из линейно независимых линейных комбинаций характеристических векторов матриц то равномерно наиболее мощный подобный критерий для проверки нулевой гипотезы против альтернатив с уровнем значимости имеет критическую область где

определяется так, чтобы при нулевой гипотезе Равномерно наиболее мощный подобный критерий против альтернатив имеет критическую область где определяется так, чтобы при Равномерно наиболее мощный несмещенный критерий против альтернатив имеет критическую область, являющуюся объединением областей сих где с определяются так, чтобы

где плотность распределения при

Наиболее интересны случаи, когда Пусть матрица характеристических векторов равна V, причем Если положить то вектор х будет иметь распределение где А — диагональная матрица с диагональными элементами являющимися характеристическими корнями матрицы (Все характеристические корни матрицы равны единице.) Соответствующие квадратичные формы равны

где Тогда

Если то распределение величины не зависит от При распределение величины совпадает с распределением отношения (13), в котором независимые нормальные величины с нулевыми средними и единичными дисперсиями.

Распределения общего типа, рассмотренные в § 6.7, соответствуют рассматриваемым здесь с заменой или (когда включается математическое ожидание) на . В частности, если корней являются двойными, скажем если это корни то указывается в теореме 6.7.4. Если двойными являются все корни за исключением одного простого корня то в этом случае дается теоремой 6.7.6. Если

Если то знаменатель в (14) равен

Числитель в (14) можно найти, воспользовавшись семиинвариантами квадратичной формы Действительно, семиинвариант представляет собой умноженную на величину

Тогда несколько первых моментов выразятся соотношениями (126) и (127) § 6.7, в которых заменяются на Если симметричны относительно нуля, то

Могут быть также использованы и приближенные распределения, описанные в § 6.8.

Особый интерес представляет циклический случай с и независимыми переменными Если при этом

четное, то в качестве независимых переменных берут

Соответствующие характеристические корни равны

Тогда и

где символы 2 указывают на то, что входящие в правую часть (19) суммы берутся соответственно по всем значениям для которых делится на и по всем значениям для которых делится на Т. (См. разд. 6.7.7.) При этом

для Если то (20) переходит в

(Отметим, что ) В частности,

Можно также показать, что для Тогда для для для

(см. скан)

для для и

Аппроксимируем плотность плотностью

второй момент которой равен Возьмем приравняем второму моменту коэффициента Тогда для получим Четвертый момент плотности (26) равен При указанной подгонке получаем для него выражение

Сравнивая это с (25) для видим, что при значениях близких к 1, разность между (25) и (27) невелика. В работе Р. Андерсона и Т. Андерсона (1950) приведена таблица значений при которых и 0.01. Эта таблица включена в настоящую книгу как табл. 10.21). Для выравнивания полугодовых данных используются константа и функция имеющая период, Для поквартальных данных используются константа, функция с периодом а также с периодом Если рассматриваются данные за каждые два месяца, то используются константа, функция с периодом функции с периодом периодом Выравнивание ежемесячных данных проводится при помощи константы, функции с периодом с периодами .

Если посмотреть на таблицу, то можно отметить близость процентных точек для всех случаев, соответствующих одной и той же степени свободы, т. е. одному и тому же числу остающихся корней. Так, распределение величины для весьма близко к распределению основанному на сумме квадратов, последовательных разностей. (См. табл. 6.3.)

10.4.2. Общий случай

Рассмотрим теперь указанную задачу в ситуации, когда факт совпадения столбцов матрицы с характеристическими векторами матрицы не учитывается. Пусть остатки от подобранной по методу

наименьших квадратов регрессии равны

Тогда сериальный коэффициент корреляции равен

где

При этом матрица В размера имеет ранг как матрица, ортогональная Матрица В идемпотентна, поскольку

Характеристические корни идемпотентной матрицы равны 1 и 0. Матрица В имеет характеристический корень 1 кратности равной ее рангу, и характеристический корень 0 кратности Поскольку то имеет те же самые характеристические корни. Таким образом, существует ортогональная матрица которая приводит к диагональному виду, т. е.

где матрица I в (32) имеет порядок Если где С имеет размер то (32) равно

Поскольку то Пусть и вектор и представлен в виде где и состоит из

компонент. Тогда

При нулевой гипотезе ковариационная матрица вектора у равна и такова же ковариационная матрица векторами. Поскольку то Поэтому

При нулевой гипотезе вектор и имеет распределение Пусть характеристическими корнями матрицы являются Поскольку в матрице в левом верхнем углу расположена матрица а остальные элементы — нули, указанные корни являются также и характеристическими корнями матрицы Более того, они являются характеристическими корнями матрицы

Теорема 10.4.2. При распределение величины совпадает с распределением отношения

в котором представляют собой характери стических корней матрицы составляющих все отличные от нуля характеристические корни этой матрицы, а случайные величины независимы и нормально распределены с нулевыми средними и единичными дисперсиями.

Задача, таким образом, состоит в том, чтобы найти характеристические корни матрицы При этом можно использовать теорию § 6.7 и 6.8. Семиинвариант порядка числителя (35) равен умноженному на

При разложении правой части (36) следует учитывать возможность того, что матрицы могут оказаться

неперестановочными. См. упр. 21 и 22. Дурбии и Ватсои (1950) не обратили внимания на эту возможную потерю коммутативности.

Моменты величины могут быть вычислены через ее семиинварианты. По первым четырем моментам можно подобрать бета-распределение, аппроксимирующее истинное распределение величины

Во многих случаях вычисление характеристических корней матрицы является довольно утомительной процедурой. В связи с этим Дурбин и Ватсон (1950), (1951) получили неравенства для этих корней и как следствие неравенства для точного распределения Мы покажем сейчас, что характеристических корней матрицы не относящихся к тем векторам, для которых будут соответственно не больше чем наибольших характеристических корней матрицы и не меньше чем наименьших характеристических корней этой матрицы. Мы получим эти неравенства с помощью следующих двух лемм. Пусть обозначает 1-й по величине характеристический корень матрицы А, т. е.

Лемма 10.4.1. Для любой симметрической матрицы А и произвольных векторов

Доказательство. Если матрица А диагональна, то где характеристические корни А. Поэтому

Поскольку всякую симметрическую матрицу А можно привести к диагональному виду некоторым ортогональным преобразованием, причем и характеристические корни, и остаются без изменений, то отсюда следует, что утверждение леммы сохраняет силу для любой симметрической матрицы. (См. Курант и Гильберт (1937).)

Аналогичные аргументы приводят к следующей лемме.

Лемма 10.4.2. Для всякой симметрической матрицы А и произвольных векторов

Теорема 10.4.3. Если характеристические векторы симметрической матрицы где матрица размера имеет ранг рактеристические корни матрицы отличные от нуля, то

Доказательство. Те корней матрицы которые опущены: в формулировке теоремы, соответствуют векторам, аннулируемым матрицей В. Положим Тогда является положительно полуопределенной матрицей ранга Поскольку то выполнение соотношения влечет за собой и выполнение соотношения Пусть — совокупность (линейно независимых) характеристических векторов матрицы Тогда

Аналогично

Следствие 10.4.1. 5 условиях теоремы 10.4.3

Теорема 10.4.4. В условиях теоремы 10.4.3

Пусть случайные величины независимы и нормально распределены с нулевыми средними и дисперсиями 1. Если при этом независимые переменные соответствуют наибольшим характеристическим корням матрицы то левая часть (44) равна 1 минус функция распределения соответствующей сериальной корреляции. Если же независимые переменные соответствуют наименьшим по величине характеристическим корням матрицы то тогда той же величине равна правая часть соотношения (44). Было бы хорошо, если бы мы знали, что некоторые из независимых переменных являются характеристическими векторами матрицы

Теорема 10.4.5. Предположим, что линейно независимых линейных комбинаций столбцов матрицы являются характеристическими векторами матрицы Пусть Характеристические корни соответствующие остальным ее характеристическим векторам. Тогда если вектор у имеет распределение то

где определяется соотношением (29), независимые нормально распределенные случайные величины с нулевыми средними и единичными дисперсиями.

Для данной матрицы и определенных характеристических векторов в можно затабулировать те значения для которых

правая часть (45) равна Обозначим эти через Тогда если наблюдаемое значение превосходит то это превышение следует считать значимым для уровня Пусть такое при котором левая часть (45) равна Тогда, если наблюдаемое окажется меньше это различие оказывается незначимым для уровня Если же наблюдаемое значение заключено между то определенного заключения вынести нельзя. Эта процедура является критерием проверки независимости против альтернативы о положительной зависимости против

Дурбин и Ватсон (1951) затабулировали величины в случае использования суммы квадратов последовательных разностей для уровней . При этом предполагалось, что одним из столбцов матрицы является Если для статистики, стоящие в левой и правой частях неравенства (45), переписать соответственно как деленные на суммы (где символы используются для обозначения независимых стандартных нормальных величин), то мояадо непосредственно заметить, что разность между этими статистиками равна

что приближенно соответствует величине Используя таблицы Дурбина и Ватсона, можно показать, что разность между для близка к этой величине. Упрощенное эмпирическое правило состоит здесь в том, что приближенно равно из табл. 6.3 (для данного плюс приближенно равно минус последняя сумма. В табл. 10.3 приведены процентные точки для

Особого интереса заслуживает случай полиномиальной регрессии. Предположим, что соответствует использованию суммы квадратов последовательных разностей (см (41) из § 6.5) Тогда линейный тренд имеет вид Вектор близок к характеристическому вектору матрицы соответствующему характеристическому корню 1, именно

(См. упр. 24.) Это наводит на мысль о том, что процентные точки остатков от регрессии должны быть близки к для

Таблица 10.3 (см. скан) НИЖНЯЯ и ВЕРХНЯЯ ГРАНИЦЫ ДЛЯ ВЕРХНИХ 100e-ПРОЦЕНТНЫХ ТОЧЕК РАСПРЕДЕЛЕНИЙ СЕРИАЛЬНОГО КОЭФФИЦИЕНТА КОРРЕЛЯЦИИ, СТРОЯЩЕГОСЯ ПО ПОСЛЕДОВАТЕЛЬНЫМ РАЗНОСТЯМ ОСТАТКОВ ОТ ТРЕНДА, СОСТОЯЩЕГО из КОНСТАНТЫ И НЕЗАВИСИМОЙ ПЕРЕМЕННОЙ

(Другой подход состоит в том, что вектор, компонента которого равна близок к вектору с компонентой Возьмем матрицу из разд. 6.5.4. Тогда

Таким образом, вектор в мало отличается от характеристического вектора матрицы соответствующего характеристическому корню 1. Это заставляет предположить, что распределение отношения близко к распределению отношения . В самом деле, наименьших характеристических корней матрицы и характеристических корней матрицы равны соответственно 1/2 и —1/2 для для для

Для проверки независимости в условиях, когда оценки наименьших квадратов не являются эффективными, Дурбин (1970) предложил другую процедуру. Предположим, что где столбцов матрицы являются характеристическими векторами матрицы и что никакая линейная

комбинация столбцов матрицы V не является линейной комбинацией остальных характеристических векторов матрицы Предположим еще, что матрица состоящая из характеристических векторов матрицы , «близка» к матрице Пусть

где

Пусть матрицы размера удовлетворяющие соотношениям Пусть

Поскольку

то и поскольку вектор регрессии с не коррелирован с остатками, то Ковариационная матрица вектора равна (в предположении, что вектор у имеет ковариационную матрицу I)

Ковариационная матрица вектора равна

Поскольку

что совпадает с ковариационной матрицей остатков от регрессии на Распределение отношения

при нулевой гипотезе совпадает с распределением отношения

в котором х имеет распределение Последнее же отношение является сериальной корреляцией, основывающейся на остатках от При этом —диагональная матрица, диагональные элементы которой равны характеристическим корням, соответствующим столбцам матрицы

Можно использовать также и сериальный коэффициент корреляции, основывающийся на последовательных разностях. Константу можно включить в регрессию, полагая . Если другие независимые переменные, составляющие изменяются медленно, то их совокупность может оказаться близкой к матрице состоящей из векторов-столбцов с компонентами При этом процентной точкой (58) будет

ЛИТЕРАТУРА

(см. скан)

УПРАЖНЕНИЯ

(см. скан)

(см. скан)

(см. скан)

(см. скан)