§ 8. Вычисление наилучших линейных оценок

Основное содержание теории наилучшего линейного оценивания заключено в следующих теоремах.

Теорема 5.6 (Кощеев). Наилучшие линейные оценки параметра для класса имеют вид

где оценка метода наименьших квадратов, — наилучшая в среднем оценка,

— наилучшая минимаксная оценка,

— равномерно лучшая оценка,

Таким образом, оказывается, что наилучшие линейные оценки будут смещенными. Структура оценок задается выражением (5.62), где определяется по формулам (5.63)-(5.65) в зависимости от конкретного содержания понятия качества оценки. Существует простое соотношение, которое показывает, во сколько раз байесова или минимаксная оценка лучше оценок метода наименьших квадратов.

Теорема 5.7 (Кощеев). Справедливо равенство

Согласно теореме 5.7 величина определяет, во сколько раз оптимальные оценки лучше оценки метода наименьших квадратов. Преимущество оценок тем больше, чем меньше объем выборки

Ниже приведено доказательство теоремы 5.6. Справедливость же теоремы 5.7 будет следовать из более общей теоремы, рассмотренной в следующем параграфе.

Доказательство теоремы 5.6.

1. Вывод наилучшей в среднем линейной оценки. Выпишем функционал, минимум которого определяет в наших

условиях наилучшую оценку в среднем:

Этот интеграл легко может быть вычислен

Обозначим и произведем замену переменных

Так как интегрирование идет по симметричным интервалам то линейные по члены обращаются в нуль. Получаем

В выражении (5.69) использовано обозначение

Окончательно получаем

Для того чтобы найти наилучшую в среднем линейную оценку, нам осталось минимизировать по параметрам (3 выражение (5.70).

Приравнивая нулю частные производные выражения (5.70), получим, что

Подставим найденные значения (5.71) в (5.53):

Введем теперь обозначения В этих обозначениях

Заметим, что величина есть оценка параметра полученная методом наименьших квадратов. Таким образом,

Первая часть теоремы доказана.

2. Вывод наилучшей минимаксной оценки. Функционал, минимум которого определяет наилучшую минимаксную

оценку, равен

Используем обозначения

и произведем замену переменных в (5.72):

Таким образом,

Найдем минимум (5.73). Выбором второй член суммы в квадратных скобках можно обратить в нуль:

Поэтому достаточно минимизировать

Минимум же (5.74) достигается при

откуда при функционал (5.74) равен

Минимум выражения (5.76) достигается при

Подставляя (5.75), (5.77) в (5.53), найдем наилучшую минимаксную оценку

Введя обозначение получаем

3. Вывод равномерно лучшей линейной оценки. Для вычисления равномерно лучшей оценки надо минимизировать функционал

или в явном виде

Нетрудно видеть, что все вычисления в этом случае совпадают с только что проделанными, за исключением того, что если

то вместо следует брать

Следовательно,

где либо либо о в зависимости от знака выражения

Но при значениях (5.80) выражение (5.79) отрицательно

Следовательно, Таким образом, равномерно лучшая линейная оценка равна

где на этот раз