ПРИЛОЖЕНИЕ F. СТОХАСТИЧЕСКАЯ АППРОКСИМАЦИЯ — КРАТКИЙ ОБЗОР
1. Процедура Роббинса — Монро для оценки нуля неизвестной функции регрессии
Пусть у является случайной реличиной с функцией распределения
зависящей от некоторого параметра х. Допустим, что существует функция регрессии
и при некотором вещественном а уравнение
обладает единственным корнем 0. Путем наблюдения у при различных значениях х необходимо оценить 0. Пусть
есть
оценка 0. Роббинс и Монро [1] предложили следующий итерационный алгоритм: начать с некоторой произвольной исходной оценки
далее полагать
где
-наблюденное значение у при
Следующие теоремы определяют свойства сходимости процедуры Роббинса-Монро [1, 2].
Теорема 1. Пусть
есть последовательность положительных вещественных чисел, удовлетворяющих следующим условиям:
Функция регрессии
удовлетворяет следующим условиям:
(2)
(т. е.
ограничена постоянной величиной
(5)
- строго возрастающая функция, если
при
Тогда
Теорема 2. Пусть
-функция регрессии, удовлетворяющая следующим условиям:
Если, кроме того,
то
Блюм [3] и Гладышев [4] распространили процедуру Роббинса — Монро на многомерный случай. Непрерывный случай процедуры Роббинса — Монро рассмотрели Дримл и Недома [5], Ханч и Шпачек [6], а также Дримл и Ханч [7].