2.2. ОБЩАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ

Рассмотрим некоррелированные случайные величины, средние и дисперсии которых выражаются соотношениями

с заданными числовыми значениями При этом, называются независимыми переменными, зависимыми переменными. Используя векторные обозначения

выражение (1) можно записать в виде

(Транспонирование вектора или матрицы а будет отмечаться штрихом: а.)

Будем обозначать через b оценку вектора представляющую собой решение нормального уравнения

в котором

и матрица А предполагается невырожденной (так что ). Вектор минимизирует сумму на множестве всех -мерных векторов b и называется оценкой наименьших квадратов вектора Несмещенная оценка для может быть получена (при ) из соотношения

Оценка наименьших квадратов b является несмещенной оценкой вектора

и имеет ковариационную матрицу

Теорема Гаусса — Маркова утверждает, что компоненты вектора b являются наилучшими линейными несмещенными оценками соответствующих компонент вектора в следующем смысле. Каждый элемент вектора b имеет дисперсию, наименьшую среди дисперсий всех несмещенных оценок соответствующего элемента вектора линейных по переменным

Если случайные величины независимы и нормально распределены, то b является оценкой максимального правдоподобия вектора Оценкой максимального правдоподобия для служит в этом случае величина При этом оценка b распределена по многомерному нормальному закону со средним и ковариационной матрицей а оценка имеет -распределение с числом степеней свободы, не зависящим от b и равным Вектор b и оценка образуют достаточное множество статистик для

В предположении нормальности случайных величин можно построить критерии для проверки гипотез относительно значений и доверительные интервалы для Пусть

где

Аналогичным образом разобьем и Блочные векторы и матрицы рассмотрены у Т. Андерсона (1958, приложение 1, § 3). Тогда для проверки гипотезы о том, что где некоторый вектор, можно использовать F-статистику

Здесь разбиты на блоки с строками и столбцами:

поводу равенства см. упр. 8.1 Если выполнено предположение о нормальности и справедлива нулевая гипотеза, то статистика (12) имеет F-распределение с степенями свободы. В общем случае в предположении нормальности

статистика (12) имеет нецентральное F-распределение с параметром нецентральности

Эти результаты являются следствием того, что имеет нормальное распределение [См., например, Т. Андерсон (1958, § 2.4).]

Если то нулевая гипотеза означает, что элементы не входят в функцию регрессии. При этом говорят, что величины не зависят от векторов . В этом важном случае числитель в (12) есть просто

Доверительная область для с коэффициентом доверия имеет вид

где есть верхняя -процентная точка F-pacnpeделения с и степенями свободы.

Если интерес представляет только один элемент вектора то вместо F-статистики можно использовать -статистику. Пусть, например, нас интересует элемент Тогда есть число, и отношение имеет -распределение с степенями свободы.

Заметим, что остатки не коррелировс с независимыми переменными в выборке:

а множество этих остатков не коррелировано с вектором выборочной регрессии в генеральной совокупности. (См. упр. 7.)

Сказанное поясняет следующая геометрическая интерпретация (см. рис. 2.1). Пусть вектор в -мерном евклидовом пространстве, столбцов матрицы представляют собой векторов в этом пространстве, столбцов матрицы суть его векторов. Пусть при этом Тогда математическое ожидание вектора у выражается в виде и является вектором в -мерном подпространстве, натянутом на столбцы матрицы Выборочная регрессия является проекцией вектора у на это -мерное подпространство.

(кликните для просмотра скана)

Вектор остатков ортогонален каждому вектору этого -мерного подпространства и является проекцией у на -мерное подпространство, ортогональное столбцам матрицы

На рис. 2.2 представлено -мерное подпространство, порожденное столбцами матрицы Проекция вектора на -мерное подпространство, порожденное столбцами матрицы равна где (См. § 2.3.) Проекция на -мерное подпространство ортогональное равна Числитель -статистики (12) равен квадрату длины последнего вектора, а знаменатель пропорционален квадрату длины вектора