Глава 3. МЕТОД КИФЕРА—ВОЛЬФОВИЦА

1. Введение

Кифер и Вольфовиц [1] предложили метод определения положения максимума функции регрессии (если он существует) и установили асимптотические свойства этой процедуры. Блюм [1] доказал при более слабых условиях, что этот метод сходится с вероятностью единица.

Мы обсудим в этой главе метод Дупача [1] для определения положения максимума; он применяется также в гл. 7. Среди класса последовательностей итерационных коэффициентов выбирается оптимальная последовательность. Впервые этот вопрос был изучен Чжуном [1], но мы следуем Дупачу. Рассматривается метод определения положения, точки перегиба. Определяется общий класс процессов стохастической аппроксимации, который позволяет дать единую трактовку рассматриваемого вопроса. Затем дается, иллюстративный пример простой модели регрессии и показывается, как можно последовательно получать оценку параметра и вычислять среднеквадратичную ошибку.

2. Стохастическая аппроксимация для определения положения максимума функции регрессии

Теорема 1 (Дупач). Пусть семейство функций распределения, зависящее от действительного параметра х. Функция является возрастающей для и убывающей для

Для любого X

Пусть положительные последовательности, такие, что

Для данного определим

где распределены независимо и имеют распределения соответственно. Тогда сходится к 0 в среднеквадратичном.

Доказательство. Определим для

Пусть

при Ко при в. Для некоторых

Отсюда

Введя очевидные обозначения, получим

Из (II) имеем для любого X, так что

Из этого соотношения и равенства

получаем

Из неравенства (см. стр. 240), и соотношения (2) получаем также следующее:

Из монотонности М и неравенств следует, что и потому влечет за собой Отсюда, усиливая правое неравенство в (3), мы приходим к выводу, что

По определению последовательности

В силу сделанных предложений имеем

Следовательно,

Используя (I), (4) и (5), получаем

Значит,

или

Так как для любого мы получаем по индукции

Поскольку и все частичные произведения равномерно ограничены, то из (1) следует, что Отсюда

и

Возвращаясь к (6) и используя вместо (5) правое из неравенств (3) для оценки

мы получим в результате, что

Применяя (7) и (8) ко всем членам, кроме двух первых, мы получим, взяв математические ожидания, следующее соотношение:

или

Так как выберем так, чтобы т. е. так, чтобы для всех Тогда, как и выше,

Поскольку стремится к нулю при Из (1) и леммы Кронекера имеем, кроме того, что стремится к нулю при Значит, для произвольного существует такое что

такое что

и такое , что для всех Следовательно, для всех

т. е. при что и требовалось доказать.