§ 5. Об устойчивых методах оценивания параметра сдвига

Пусть плотность распределения вероятностей помехи неизвестна. Известно только, что она принадлежит некоторому заданному множеству плотностей Ниже мы уточним характер этих множеств, а пока примем, что множества выпуклы и что функции плотности распределения вероятностей имеют две непрерывные производные и являются симметричными относительно нуля. (Требование симметричности плотности является принципиальным для всей рассматриваемой ниже теории.) Изучению подлежит следующий вопрос: как в заданном классе следует выбирать гипотетическую плотность распределения вероятностей помехи, чтобы возможная ошибка как можно меньше сказалась на оценке параметров регрессии, если известно, что истинная плотность принадлежит

Рассмотрим сначала простой случай: требуется оценить математическое ожидание случайной величины х по выборке

Такая задача эквивалентна задаче оценивания параметра сдвига плотности (здесь использован факт, что помеха связана с замером х равенством При известной плотности оценку параметра сдвига будем проводить методом максимума правдоподобия, т. е. максимизируя выражение

В этом случае оценка является состоятельной и асимптотически эффективной.

Однако если функция в выражении (4.35) не совпадает с функцией плотности вероятностей помехи оценка доставляющая максимум выражению (4.35), вообще говоря, не является ни состоятельной, ни асимптотически эффективной.

Обозначим значение максимизирующее (4.35) в предположении, что через Условимся, как будем измерять точность оценивания параметра, если мы считаем, что помеха распределена по закону в то время как на самом деле имеет место закон

Естественно за точность оценки параметра найденной по выборке в предположении, что помеха распределена по закону принять величину

равную квадрату уклонения найденного значения параметра сдвига от истинного значения. Точность оценивания параметра сдвига на выборках длины I естественно характеризовать математическим ожиданием величины

Величина зависит от двух законов плотности распределения вероятностей, принадлежащих одному и тому же классу плотностей от гипотетического закона (согласно этому закону строилась оценка параметра сдвига и истинного закона (согласно этому закону вычислялась средняя величина квадрата уклонения).

В дальнейшем мы используем представление функции в виде

Получим это представление, проведя, возможно, недостаточно строгие, но зато наглядные рассуждения. Строгая теория устойчивого оценивания изложена в [88].

Не ограничивая общности, будем считать, что искомое значение параметра сдвига равно нулю. Обозначим

Тогда, согласно методу максимума правдоподобия, оценка параметра находится из условия

Воспользуемся приближением, справедливым для больших I и рассматриваемых симметричных плотностей:

откуда получим

Пусть настолько велико, что

(При выводе этого соотношения мы допустили, что интеграл в знаменателе существует. Для этого достаточно, чтобы функции были ограничены. В дальнейшем будем рассматривать только такие плотности, для которых

Вычислим теперь

Так как плотности функции симметричные, то

Таким образом, получаем для больших

Наконец, возвращаясь к старым обозначениям, получаем представление (4.37).

Итак, мы определили критерий качества оценивания параметра сдвига в условиях, когда истинная плотность равна а гипотетическая Наша цель состоит в том, чтобы выбрать такую плотность которая минимизирует Если бы плотность была известна, то, как легко показывается (см. ниже), минимум достигался бы при

Проблема заключается в том, чтобы выбрать функцию если известно лишь, что принадлежит классу

Как обычно в подобных ситуациях, принимается одна из двух постановок: байесова или минимаксная.

В первом случае считается, что априори известна вероятность того, что истинной плотностью будет та или иная плотность из качество же оценки параметра сдвига определяется как среднее (по мере качество, т. е.

Минимаксная постановка предлагает принять за оценку качества величину вычисленную для наиболее

неблагоприятной плотности вычислять качество из условия

Конструирование оптимального по Байесу решения наталкивается здесь на значительные трудности, поэтому ниже мы будем изучать минимаксные решения.

Итак, будем определять качество оценки параметра сдвига, полученного с помощью гипотетической плотности величиной

и попытаемся найти такую гипотетическую плотность которая минимизирует (4.39).

Такая постановка задачи имеет игровую интерпретацию. Существуют два игрока — природа и статистик, имеющие один и тот же набор стратегий (функций и противоположные цели. Первый игрок (природа) стремится выбрать такую стратегию (назначить истинную плотность чтобы максимизировать потери второго игрока, второй игрок выбирает такую стратегию (гипотетическую плотность чтобы минимизировать свои потери. Величина же потерь определяется функционалом (4.39).

Требуется найти оптимальную стратегию второго игрока, т. е. уметь для заданного класса плотностей выбирать такую гипотетическую плотность, использование которой гарантирует минимальные потери при самой неблагоприятной истинной плотности. Найденную плотность будем называть устойчивой в классе а метод оценивания параметра сдвига, полученный применением метода максимума правдоподобия к найденной плотности, — методом устойчивого оценивания параметра сдвига.

Важным фактом теории устойчивого оценивания параметра сдвига является то, что на выпуклом множестве игра с функцией потерь (4.39) имеет седловую

точку, т. е.

Используя этот факт, можно найти оптимальную стратегию статистика против природы.

Для этого воспользуемся неравенством Шварца

Преобразуем с помощью этого неравенства знаменатель (4.37):

Заметим, что при справедливо

Из (4.41) и (4.42) следует, что минимум (4.39) достигается тогда, когда оптимальные стратегии природы и статистика реализуются на одной и той же плотности. Для того чтобы ее найти, необходимо в классе максимизировать выражение (4.42) или, что то же самое, найти в классе такую плотность, которая минимизирует функционал

Заметим, что функционал есть информационное количество Фишера (см. § 11 гл. III).

В §§ 7, 8 для различных классов плотностей мы найдем плотности распределения вероятностей, минимизирующие информационное количество Фишера, и тем самым получим устойчивые (в этих классах) оценки параметра сдвига, а пока распространим полученный здесь результат на случай оценивания параметров регрессии.