§ 5. Теорема Гаусса — Маркова

До сих пор при восстановлении регрессии мы считали, что помехи измерения подчиняются нормальному закону. Теперь мы откажемся от этого предположения. Будем

считать, что закон, согласно которому распределены помехи, нам неизвестен. Известно лишь, что он имеет ограниченную дисперсию. Требуется в этих условиях построить наилучший алгоритм восстановления регрессии.

Выше при построении теории нормальной регрессии мы сначала установили, что в классе алгоритмов, приводящих к несмещенным оценкам параметров, метод наименьших квадратов является наилучшим, а затем в более широком классе алгоритмов нашли алгоритмы лучшие, чем метод наименьших квадратов. Сейчас мы поступим аналогичным образом. Сначала покажем, что в некотором узком классе алгоритмов оценивания параметров метод наименьших квадратов является наилучшим, а затем укажем в более широком классе алгоритмов способы оценивания лучшие, чем метод наименьших квадратов.

В условиях нормальной помехи метод наименьших квадратов является наилучшим в классе несмещенных методов оценивания. В этом параграфе мы покажем, что в более узком классе оценок, являющихся одновременно и линейными и несмещенными, метод наименьших квадратов реализует наилучший алгоритм оценивания независимо от того, по какому закону распределена помеха.

Определение. Говорят, что оценка параметра а является линейной по измерениям если она представима в виде

где матрица с элементами

Справедлива

Теорема 5.5. (Гаусс-Марков). Среди всех линейных несмещенных оценок оценка наименьших квадратов обладает минимальными дисперсиями координат.

Мы проведем доказательство теоремы Гаусса-Маркова в более общей формулировке — для случая линейных смещенных оценок. Обозначим через вектор параметров линейной регрессии

Определим оценку как решение уравнения

где В — симметричная неотрицательно определенная матрица которая задает вектор смещения оценки. Покажем, что оценка обладает экстремальными свойствами. А именно, справедлива теорема.

Теорема. Среди всех линейных оценок вектора параметров а с векторами смещения, равными оценка обладает минимальными дисперсиями координат. Доказательство. Из (5.42) получим

Пусть произвольная линейная оценка такая, что

Тогда из (5.42) получим

Так как равенство (5.45) справедливо для любых то

Выпишем теперь дисперсию координаты оценки а:

где координата вектора смещения

Покажем, что второе слагаемое в правой части (5.47) равно нулю. Действительно, используя (5.44), (5.46) получим

где означает элемент матрицы

Таким образом,

Теорема доказана.

Теорема Гаусса — Маркова следует из доказанной, если в (5.42) положить В этом случае