§ 2. Теория нормальной регрессии

Теория оценивания параметров регрессии по выборкам ограниченного объема разработана для случая, когда, во-первых, класс функций, которому принадлежит регрессия, линеен по параметрам

а, во-вторых, структура измерений подчиняется схеме Гаусса — Маркова.

Считается, что измерения функциональной зависимости

производятся в I фиксированных точках

(Эти точки не являются случайными.)

Измерения производятся с аддитивной помехой , которая возникает случайно согласно плотности имеет нулевое среднее значение и конечную дисперсию . Помехи в точках и некоррелированы.

Результатом измерений функции в точках является случайный вектор координаты которого равны

Или в векторной форме

где Ф — матрица с элементами вектор параметров, вектор помех.

Таким образом, схему Гаусса-Маркова определяют равенства

где единичная матрица.

При построении теории оценивания параметров регрессии в схеме Гаусса — Маркова выделяется случай, когда помеха задается нормальным законом распределения вероятностей.

Для нормального закона распределения помехи справедлива так называемая теория нормальной регрессии, в основе которой лежит следующий факт: экстремальным методом оценивания параметров нормальной регрессии является метод наименьших квадратов, согласно которому в качестве оценки параметров а следует выбирать такой вектор который доставляет минимум функционалу

Справедлива

Теорема 5.1. Оценки метода наименьших квадратов параметров нормальной регрессии являются совместно эффективными,

Ниже мы докажем эту теорему, а затем построим метод восстановления нормальной регрессии лучший, чем тот, который основан на методе наименьших квадратов.

Доказательство. Запишем плотность распределения вероятностей помехи в виде

Здесь задача оценивания параметров регрессии эквивалентна оцениванию параметров распределения (5.9) по результатам измерения функции в точках

Выпишем функцию правдоподобия:

Согласно неравенству Рао—Крамера (см. § 11 гл. III) информационная матрица Фишера матрица с элементе тами определяет предельную точность совместных оценок вектора параметров а в классе несмещенных методов оценивания. А именно, для любого вектора справедливо неравенство

где В — ковариационная матрица несмещенных оценок вектора параметров. Таким образом, предельная точность в классе несмещенных оценок достигается при таком способе оценивания, при котором

Покажем, что для нормальной помехи равенство (5.11) достигается при оценивании параметров регрессии методом наименьших квадратов. Действительно, вычислим

элементы матрицы Фишера. Учитывая (5.10), получим

Или в матричной форме

где Ф — матрица с элементами

Вычислим теперь элементы ковариационной матрицы В оценок метода наименьших квадратов. Для этого найдем оценку параметров регрессии по методу наименьших квадратов, т. е. вектор минимизирующий функционал

Минимизация по а функционала (5.13) эквивалентна решению следующего уравнения:

Уравнение (5.14) называется нормальным уравнением. Решение нормального уравнения относительно вектора параметров а равно

Заметим, что оценка метода наименьших квадратов принадлежит классу несмещенных

Выпишем вектор уклонений оценки параметров регрессии от истинных значений параметров

где вектор помех измерений.

Найдем теперь ковариационную матрицу:

Учитывая, что получим

Таким образом, для нормального закона распределения помех ковариационная матрица вектора оценок равна обратной информационной матрице Фишера. Тем самым доказана эффективность метода наименьших квадратов в задаче восстановления параметров регрессии при структуре измерений, определяемой схемой Гаусса—Маркова.

Следует заметить, что метод наименьших квадратов является эффективным средством оценивания параметров лишь в схеме Гаусса — Маркова. В схемах с нефиксированными точками измерений даже при нормальном законе появления помех метод наименьших квадратов оказывается лишь асимптотически эффективным.

Так, уже в случае оценивания одного параметра

при измерениях, проводимых с аддитивной нормальной помехой

в точках заданных случайно и независимо согласно оценка параметра а не будет эффективной.

Действительно, точно так же, как и выше, можно найти величину информационного количества Фишера:

и вычислить дисперсию оценки параметра а:

Заметим, что в силу выпуклости функции имеет место неравенство

откуда следует, что в рассмотренном примере

Единственный случай, когда неравенство (5.15) переходит в равенство — фиксированность точек измерений. Этот случай и реализует схема Гаусса—Маркова.