ДОПОЛНЕНИЯ. АСИМПТОТИЧЕСКИЕ МИНИМАКСНЫЕ РЕШЕНИЯ ЗАДАЧ ПОСЛЕДОВАТЕЛЬНЫХ ТОЧЕЧНЫХ ОЦЕНОК

1. Введение.

Точные минимаксные решения задач последовательных точечных оценок в общем виде получить чрезвычайно трудно. Насколько известно автору, такие решения получены лишь в двух частных случаях: 1) в задаче оценки среднего значения нормального распределения с известной дисперсией и 2) в задаче оценки среднего значения прямоугольного распределения с известной шириной. Решение в первом случае совпадает с классическим непоследовательным решением, во втором же случае оно является по существу последовательным.

В этой заметке мы получим асимптотические минимаксные решения для общего класса задач точечной оценки. Рассматриваемая здесь задача точечной оценки может быть сформулирована следующим образом. Пусть есть последовательность независимых и одинаково распределенных случайных величин. Пусть есть одинаковая для всех них функция распределения, содержащая неизвестный

параметр Будем считать, что имеет плотность распределения Процедура последовательной точечной оценки определяется при помощи двух последовательностей функций где принимает лишь значения 1 или 0. Процедура оценки производится следующим образом. Пусть есть наблюденное значение величины Продолжаем наблюдения все время, пока Сразу же, как только будет прекращаем эксперимент и оцениваем неизвестный параметр величиной Будем считать, что цена эксперимента пропорциональна числу наблюдений. Пусть с означает цену единичного наблюдения и пусть потери, возникшие в результате оценки действительной величины параметра величиной равны

Пусть означает среднее число наблюдений, когда есть действительное значение параметра и принята оценочная процедура Далее, пусть обозначает среднее значение величины если есть истинное значение параметра и принята процедура Это среднее значение дается формулой

где область пространства всех выборочных точек

для которых когда Если истинное значение параметра, принята процедура и цена единичного наблюдения равна то риск равен

Оценочная процедура называется минимаксным решением при заданной величине с, если

Символ обозначает верхнюю грань относительно в

Для каждого положительного с через обозначим неко торую оценочную процедуру. Будем говорить, что есть асимптотическое минимаксное решение, если

Символ обозначает нижнюю грань относительно

Очевидно, если есть асимптотическое минимаксное решение, то практически может рассматриваться как минимаксное решение, когда С очень мало.

Для любого условия символ будет обозначать вероятность, что И выполнено, если истинное значение параметра равно 0. Точно так же для любой случайной величины у символ будет обозначать среднее значение величины у, когда есть истинное значение параметра. Пусть

и

Основной результат этой статьи заключается в том, что при определенных условиях оценочные процедуры и являются асимптотическими минимаксными решениями, где и определяются следующим образом. Оценочное правило Возьмем наблюдений и оценим при помощи оценки максимального правдоподобия на основе первых наблюдений, где есть наименьшее целое число

Оценочное правило Остановим эксперимент после наблюдения, где есть наименьшее целое число, для которого

и оценим при помоши Здесь обозначает оценку максимального правдоподобия параметра полученную на основе первых наблюдений.

Хотя оба являются асимптотическими минимаксными решениями, для малых с представляется более предпочтительным, так как

для всех 0, для которых

как это будет показано позже.

2. Предположения регулярности.

В дальнейшем для любой случайной величины у символ будет обозначать дисперсию у, когда является истинным значением параметра. Символ будет использован для обозначения числа наблюдений, требуемых в оценочной процедуре, т. е. является наименьшим целым числом, для которого Вольфовиц показал, что при некоторых слабых условиях регулярности для любой оценочной процедуры имеет место неравенство

где

Так как мы должны будем использовать приведенное выше неравенство, то постулируем следующее:

Предположение 2.1. Выполняются условия регулярности, постулируемые Вольфовицем, при которых справедливо (2. 1).

В добавление к этому предположению сделаем следующие предположения.

Предположение 2.2. Область изменения 0 является открытым (конечным или бесконечным) интервалом на действительной оси.

Предположение есть непрерывная функция 0, причем существует значение для которого

Предположение 2.4. Для любого положительного целого и для любого полагаем Имеет место соотношение

равномерно по

Предположение есть ограниченная функция для некоторого положительного

Хорошо известно, что предположение 2.4 имеет место при более общих условиях. Изложенные выше предположения можно, без сомнения, ослабить, но ради простоты автор не пытался этого здесь делать.

3. Доказательство того, что ... является асимптотическим минимаксным решением.

Из (1.2) и (2.1) следует, что

Беря минимум относительно получим из (3.1)

Рассмотрим фиксированный конечный замкнутый интервал оси 0. Пусть есть длина Если — для всех из тогда

Если для некоторых из интервала то из (3.2) следует, что

Пусть

Очевидно,

Так как правая часть (3.6) больше правой части (3.4), то из (3.3) и (3.4) следует, что

Пусть 2 обозначает все пространство значений параметра. Из (3.7) тогда следует, что

Пусть будет значением 0, для которого Существование такой величины постулируется предположением 2.3. Пусть будет замкнутым отрезком длины и со средней точкой Тогда из (3.8) получим

Так как по предположению 2.3 функция является непрерывной функцией 0, то существует такое 8— обозначим его 8/0 (зависящее от что

и

Затем из (3.9) получаем

Так как правая часть (3.12) не зависит от получаем

Для фиксированного имеем

Следовательно, из (3,13) вытекает

Так как может быть выбран произвольно малым, если достаточно малым выбрать и так как то имеем

Теперь покажем, что

Очевидно, что для оценочной процедуры 7°, определенной в пункте имеем

Пусть есть любая последовательность значений параметра. Из предположения 2.4 следует, что распределение при сходится к нормальному распределению с нулевым средним значением и единичной дисперсией! Следовательно, из теоремы Хелли-Брэя и предположения 2.5 вытекает

Отсюда следует, что

равномерно по Следовательно, из (3.18) получаем

равномерно по 0, т. е.

Так как то (3.17) сразу получается из (3.22).

Из (3.16) и (3.17) вытекает

Равенства (3.17) и (3.23) показывают, что есть асимптотическое минимаксное решение.

4. Предельное распределение оценки максимального правдоподобия, когда число наблюдений определено последовательным правилом.

Чтобы изучить функцию риска, связанную с оценочной процедурой необходимо получить предельное распределение когда определено последовательным правилом. Для любого положительного числа с пусть есть последовательность функций, которые могут принимать только значения и 1. Пусть есть наименьшее положительное целое число, для которого

Сделаем следующие предположения. Предположение 4.1. Существует функция от и положительная функция от с, такие, что

равномерно по 0,

и

равномерно по 0.

Предположение 4.2. Существуют производные

Предположение 4.3. Для некоторого положительного

есть ограниченная функция 0.

Предположение 4.4.

имеет положительную нижнюю границу и равномерно непрерывна по 0.

Для любого положительного положим

где О принадлежит замкнутому интервалу Пусть далее

когда

Предположение есть ограниченная функция для некоторого положительного и

равномерно по 0.

Для любого 0, любого положительного целого и для любого положительного 8 пусть обозначает событие, состоящее в том, что

Предположение 4.6. Для любого положительного 8 имеем

равномерно по

Докажем следующую теорему.

Теорема 4.1. Если выполнены предположения то

равномерно по X и 0.

Доказательство. Разложение Тейлора

дает

где 0, лежит между и и

обозначает величину производной в точке Так как первый член правой части (4.8) равен нулю, получаем

Следовательно,

Пусть есть последовательность положительных чисел таких, что Из предположения (4.6) следует, что существует такая последовательность положительных целых чисел

что

и

равномерно по Для любых положительных положим где есть наибольшее положительное целое число, для которого Очевидно, что

и

равномерно по Из (4.13) и предположения 4.1 следует, что

равномерно по 0. Символ обозначает наименьшее целое число а. Так как лежит между и 0, то

равномерно по 0.

Пусть определяется следующим образом:

Для любой последовательности случайных величин символ

будет означать, что

для любого Из предположения 4.1 немедленно следует, что

и

равномерно по 0. Очевидно, имеет место неравенство

когда Из (4.12) и предположения 4.1 имеем

равномерно по 0. Из предположения 4.5 следует, что для некоторого положительного

равномерно по 0. Следовательно, из (4.18) и (4.14) имеем

равномерно по 0. Так как

то из предположения 4.1 легко получить, что

равномерно по 0. Мы сейчас покажем, что

равномерно по 0. Очевидно, что

если Следовательно, в силу (4.14) равенство (4.23) будет доказано, если покажем, что

равномерно по 0. Но это следует из (4.19) и предположения 4.5. Таким образом, (4.23) доказано.

Из (4.10), (4.16), (4.17), (4.21), (4.22) и (4.23) получаем

где

равномерно по 0. Из предположения 4.3 и центральной предельной теоремы следует, что

равномерно по и 0.

Так как в соответствии с предположением имеет положительную нижнюю границу, теорема 4.1 легко следует из (4.26), (4.27), (4.28) и предположения 4.1.

5. Доказательство того, что ... есть асимптотическое минимаксное решение и что имеет место (1.8).

Предположения являются предположениями только относительно Если эти предположения имеют место, то нетрудно убедиться, что предположение 4.1 выполняется для последовательных процедур где Действительно, из ограниченности следует, что

Отсюда и из предположения 4.6 следует, что для любого

равномерно по 0. Предположение 4.1 есть простое Следствие (5.1), (5.2) и предположения 4.4. Следовательно, теорема 4.1 дает

равномерно по 0. Очевидно,

Введем дополнительное

Предположение 5.1. есть ограниченная функция для любых Так как

равномерно по 0, то из (5.3) и предположения 5.1 следует, что

равномерно по 0. Далее легко видеть, что

равномерно по 0. Следовательно,

равномерно по или

равномерно по 0. Отсюда и из (3.21) вытекает справедливость следующей теоремы.

Теорема 5.1. Если выполнены предположения 4.2-4.6 и 5.1 и если выполнены (3.21) и (3.23), то есть асимптотическое минимаксное решение и выполнено (1.8).

Пусть есть оценочная процедура, определенная следующим образом.

Возьмем первые наблюдений, где

есть верхняя грань относительно 0. Возьмем затем дополнительных наблюдений, где

Оценим с помощью

Легко можно показать, что если выполнены предположения 4.2-4.6 и если предположение 5.1 сохранится при замене на то

равномерно по Таким образом, из (5.9) следует

равномерно по 0.