6.2. Метод наименьших квадратов и регрессионная теория

Основу метода наименьших квадратов и линейной регрессионной теории составляют две классические теоремы. Первая из них — теорема Гаусса—Маркова

Теорема 6.2.1. Пусть

    (6.2.1)

где есть -матрица случайных величин, причем есть неизвестных параметров и X есть -матрица известных величин. Тогда

    (6.2.2)

минимизируется при выборе а равным если матрица ХХТ несингулярна. Этот минимум равен Математическое ожидание величины а равно а, а ковариационная матрица а задается выражением причем если , то Кроме того, а является линейной несмещенной Оценкой для а с минимальной дисперсией.

Этот результат можно найти, например, в гл. 19 книги Kendall, Stuart (1961). Обратимся к вопросу о распределении величины и а, которую обычно называют оценкой наименбших квадратов величины а.

Теорема 6.2.2. Если в дополнение к условиям теоремы 6.2.1 предположить, что компонент вектора являются величинами,

имеющими нормальное распределение, то имеет распределение имеет распределение и не зависит от а.

Непосредственно из теоремы 6.2.2 следует, что величина

    (6.2.3)

имеет нецентральное -распределение с k и степенями свободы и параметром нецентральности Как видим, гипотезу можно проверить, заметив, что величина (6.2.3) имеет центральное -распределение, когда гипотеза верна. Соответствущую статистику

    (6-2-4)

называют квадратом множественного выборочного коэффициента корреляции. Нетрудно видеть, что Из (6.2.3) следует также, что

    (6.2.5)

и потому распределение этой величины может быть определено непосредственно из нецентрального -распределения.

Пусть обозначают компоненты а и а соответственно, а обозначает — элемент диагонали . Тогда доверительные интервалы для могут быть получены из рассмотрения центрированной величины

    (6.2.6)

имеющей -распределение.

Эти результаты можно применять для действительных случайных величин и параметров. Однако при анализе временных рядов большинство случаев, представляющих интерес, требуют перехода к комплексным величинам. Верна

Теорема 6.2.3. Пусть

    (6.2.7)

где есть -матрица комплексных случайных величин, причем , а есть -матрица неизвестных комплексных параметров, X - -матрица с известными комплексными элементами, Y есть -матрица с известными комплексными элементами. Тогда

    (6.2.8)

минимизируется при выборе а, равным если матрица несингулярна. Этот минимум равен . Кроме того, Если

Для распределений величин а и верна

Теорема 6.2.4. Если в дополнение к условиям теоремы предположить, что компоненты вектора являются независимыми величинами с распределением то имеет распределение имеет распределение и не зависит от а.

Из этой теоремы можно заключить, что величина

    (6.2.9)

имеет нецентральное -распределение со степенями свободы и и параметром нецентральности . Эта статистика может быть использована для проверки гипотезы Соответствующее выражение

    (6.2.10)

является квадратом комплексного множественного выборочного коэффициента корреляции. Нетрудно убедиться, что Также из (6.2.10) получаем

    (6.2.11)

так что распределение этой величины можно определить непосредственно из нецентрального -распределения. Сформулированные выше теоремы 6.2.3 и 6.2.4 приведены в работе Akaike (1965). Khatri (1965а) показал, что а и являются оценками наибольшего правдоподобия для а и

Оценка а играет важную роль при прогнозировании математического ожидания — переменной, связанной с данным Справедлива

Теорема 6.2.5. Предположим, что выполнены условия теоремы 6.2.4. Пусть также

    (6.2.12)

где не зависит от из (6.2.7) и тогда имеет распределение и не зависит от

Во многих ситуациях для компонент вектора а из выражения (6.2.7) желательно знать доверительные области. Как мы видели, в случае действительных величин доверительные интервалы могут быть построены, если учесть, что в условиях теоремы 6.2.2 величина (6.2.6) имеет -распределение. В данном случае возникают осложнения, связанные с тем, что компоненты суть комплексные величины.

Пусть обозначают компоненты соответственно. Пусть также си обозначает диагональный элемент матрицы обозначает

    (6.2.13)

Величина

    (6.2.14)

имеет вид где z имеет распределение , а у не зависит от и имеет -распределение. Тогда

    (6.2.15)

имеет -распределение. Доверительная -процентная область для может быть определена из неравенства

    (6.2.16)

где обозначает более чем -процентную точку -распределения. Заметим, что эта область имеет форму круга с центром в

В некоторых ситуациях предпочтительнее иметь доверительные интервалы для Варианты интервалов можно получить алгебраическим способом из выражения (6.2.16). Пусть

    (6.2.17)

тогда область (6.2.16) приближенно может быть представлена следующим образом:

    (6.2.18)

Это представление для области приводится в работах: Goodman (1957), Akaike, Yamanoufhi (1962).

Границы области (6.2.18) имеют только приближенный характер. Точные -процентные интервалы для могут быть

определены, если заметить, что

    (6.2.19)

имеет нецентральное -распределение со степенями свободы и параметром нецентральности . Теперь для построения точных доверительных интервалов можно воспользоваться таблицами для мощностей - критерия [Pearspn Е. S., Hartley (1951)]. Могут быть использованы также таблицы

С другой стороны, для построения приближенных -процентных доверительных интервалов распределение величины (6.2.15) можно определять из центрального -распределения со степенями свободы

    (6.2.20)

и 2 (n — k). Такую аппроксимацию нецентрального -распределения приводят Abramowitz, Stegun (1964); см. также Laubscher (1960).

В случае точные границы доверительных -процентных интервалов можно определить, заметив, что

    (6.2.21)

имеет -распределение. Интересно, что эта процедура тесно связана с проблемой Кризи—Филлера [Fieller (1954) и Halperin (1967)]. Описанные выше две процедуры построения точных доверительных интервалов приводят Groves, Hannan (1968).

Если доверительные интервалы требуются одновременно для нескольких компонент а, то можно определять их, исходя из обобщения многомерного -распределения на комплексный случай. Многомерное комплексное -распределение обсуждается в работе Dunnett, Sobel (1954); см. также Gupta (1963а), Kshirsagar (1961), Dickey (1967). Тем не менее приведем определение комплексного -распределения. Пусть z имеет распределение (0, 1), а не зависящая от величина имеет распределение. Тогда имеет комплексное -распределение с степенями свободы. Если то плотность этой величины задается выражением

    (6.2.22)

. Здесь мы сошлемся на Hoyt (1947).