§ 3. Методы восстановления нормальной регрессии, равномерно лучшие метода наименьших квадратов

Итак, в схеме Гаусса—Маркова метод наименьших квадратов является эффективным средством оценивания параметров нормальной регрессии. Однако в этом утверждении есть две оговорки:

1. Измерения проводятся в условиях нормальной помехи.

2. Метод наименьших квадратов является наилучшим не безусловно, а лишь среди несмещенных методов оценивания.

Возникает вопрос, существенны ли эти оговорки? Оказывается, что обе оговорки существенны. Метод наименьших квадратов сохраняет свои экстремальные свойства лишь при нормально распределенных помехах ?. При числе измерений размерность базиса) из эффективности метода наименьших квадратов следует, что помеха распределена по нормальному закону [23].

Не менее существенна и вторая оговорка: даже в условиях нормально распределенной помехи в классе смещенных методов оценивания существуют оценки равномерно лучшие, чем оценки метода наименьших квадратов.

Определение. Будем говорить, что для функции потерь

метод оценивания вектора параметров равномерно лучше метода оценивания если для любого выполняются неравенства

В этом параграфе мы построим алгоритмы приближения к регрессии равномерно лучшие (лучшие для любого чем те, которые вытекают из процедуры метода наименьших квадратов.

Основой этих алгоритмов служат методы оценивания вектора средних многомерного нормального закона и, в частности, следующая

Теорема 5.2 (Джеймс—Стейн). Пусть -мерный случайный вектор, распределенный по нормальному закону с вектором средних а и ковариационной матрицей Пусть случайная величина, независимая от распределенная согласно центральному -распределению с степенями свободы. Тогда оценка среднего

равномерно лучше оценки

Иначе говоря, теорема 5.2 утверждает, что в качестве оценки вектора а следует брать не реализацию а вектор а коллинеарный вектору реализации, но отличающийся от величиной модуля. Эта теорема является частным случаем более общего утверждения, доказанного в следующем параграфе.

Используя теорему 5.2, построим алгоритм приближения к регрессии равномерно лучший, чем тот, который вытекает из метода наименьших квадратов.

Итак, пусть в точках проведены измерения и пусть нашей целью является построение метода приближения нормальной регрессии лучшего, чем метод наименьших квадратов.

По-прежнему близость функций определяется метрикой

Перейдем к новому дважды ортогональному базису

т. е. базису, для которого выполняются равенства

и будем искать регрессию в разложении по базису (5.17):

В новом базисе близость функции к регрессии определяется величиной

Таким образом, нашей целью является отыскание такого алгоритма оценивания параметра для которого величина

меньше

где амнк оценка метода наименьших квадратов.

Рассмотрим оценку параметров регрессии, которую определяет метод наименьших квадратов. В базисе (5.17) эта оценка равна

где Ф — матрица с элементами вектор измерений.

Вектор амнк является случайным вектором, распределенным по нормальному закону с вектором средних

и матрицей ковариации

Таким образом, проблема оценивания параметра регрессии сводится к оцениванию вектора среднего нормального закона по его реализации .

Если бы в (5.19) оказалось, что то можно было бы, воспользовавшись теоремой 5.2, сконструировать алгоритм восстановления регрессии лучший, чем метод наименьших квадратов.

Действительно, как будет показано ниже, статистика

не зависит от амнк и распределена согласно центральному -распределению с степенями свободы.

Поэтому, согласно теореме 5.2, оценка

равномерно лучше, чем амнк, т. е. доставляет критерию (5.19) (при меньшее значение, чем амнк.

Однако в построенной дважды ортогональной системе (5.17) обычно не все величины равны между собой. Таким образом, получение лучшего приближения к регрессии в случае несовпадающих А связано с отысканием способа оценивания параметров, доставляющего меньшую величину критерию (5.19), чем метод наименьших квадратов.

Конструирование такого алгоритма оценивания также опирается на результаты теоремы 5.2. Будем считать, что функции перенумерованы в порядке невозрастания величин Введем обозначения: пусть вектор размерности составленный из первых координат вектора амнк вектор составленный из первых координат вектора оценок метода наименьших квадратов амнк.

Определим чисел

С помощью чисел образуем чисел по правилу

Справедлива

Теорема 5.3 (Бхаттачария). Для риска (5.19) оценка

равномерно лучше оценки осмнк

Доказательство. Доказательство теоремы 5.3 опирается на теорему 5.2, согласно которой для любого справедливо неравенство

Рассмотрим рандомизированную оценку

где случайные, не зависящие от величины, имеющие распределение

Величина риска (5.19) при такой оценке равна

Воспользуемся неравенством (5.23):

Таким образом, величина риска для рандомизированной оценки значений параметров меньше величины риска для оценки, полученной методом наименьших квадратов. С другой стороны, из свойств выпуклости функции потерь (5.19) следует, что нерандомизированная оценка (5.22) не хуже рандомизированной оценки (5.24).

Следовательно, приближение к регрессии, определяемое параметрами (5.22), равномерно лучше приближения, полученного методом наименьших квадратов. Теорема доказана.

Нам осталось показать, что статистика не зависит от и распределена согласно центральному -распределению с степенями свободы.

Для этого дополним ортонормальную на систему из векторов

до полной системы, состоящей из I ортонормальных векторов

Разложим по этой системе:

где

Подставляя (5.25) в (5.20), получаем

и, следовательно, S не зависит от (а зависит лишь от Так как по условию а вектор разложим по неполной системе (5.17)

то имеет место равенство

Подставляя в (5.26) значение получим

и, следовательно, статистика S распределена согласно центральному -распределению с степенями свободы.