5. Динамическая стохастическая аппроксимация

Фабиан и Дупач рассмотрели случай стохастической аппроксимации, при котором искомая величина изменяется во время итерационного процесса. Приводимое ниже рассмотрение основано на работе Дупача [22].

А. Модифицированная процедура Роббинса — Монро.

Пусть

причем единственный корень Пусть некоторая последовательность положительных чисел, и пусть произвольная случайная величина (начальная оценка). Определим алгоритм следующим образом:

где

и

Смысл этого алгоритма заключается в следующем: на шаге итераций определяется оценка Начиная с предыдущей оценки, прежде всего вносим поправку согласно далее оцениваем величину при с помощью замера наконец, вносим следующую поправку — Из теоремы 5 и следствия из нее будет видно, что применение этого алгоритма оправдывается, когда является линейной (почти линейной) функцией

Теорема 5. Предположим, что выполняются следующие условия:

Существуют такие Ко, что

изменяется так, что

Далее,

Тогда в среднем стремится к нулю, и

Следствие. Пусть при предположениях теоремы является линейной функцией Тогда

Пусть пропорционально тогда

Среднеквадратичная сходимость (как и сходимость с вероятностью единица) алгоритма также может быть получена из теоремы Дворецкого при несколько более общих условиях для

Теорема 6. При предположениях и и при замене условий и нижеследующими:

справедливы соотношения

В. Модифицированная процедура Кифера — Вольфовица.

Положим

учитывая, что единственный максимум функции Пусть и -две последовательности положительных чисел, и пусть любая произвольная начальная оценка. Определим алгоритм следующим образом:

где такие случайные величины, что их условные средние при данныххь соответственно равны , их условные дисперсии ограничены постоянной и они условно независимы.

Теорема 7. Допустим, что выполняются следующие условия: возрастает при и убывает при Существуют такие что

Для

изменяется так, что

Кроме того, Тогда — в среднем стремится к нулю, и

Литература

(см. скан)

(см. скан)