3. Стохастическая аппроксимация

Ситуации, рассмотренные в примерах а), b), с), могут быть формализованы математически следующим образом. Экспериментатор выбирает в допустимой области произвольное значение проводит эксперимент и наблюдает значение случайной переменной с математическим ожиданием где математическое ожидание,

некоторая возрастающая функция неизвестного вида. Он выбирает также убывающую с ростом последовательность положительных чисел Например, он может выбрать где с — некоторое положительное действительное число. Стоящая перед ним задача состоит в следующем: определить такое значение 0, что где а — заданное число. Для выбора значения х в следующем эксперименте он использует такое рекуррентное соотношение:

Предположим, что уже проведен эксперимент и что в результате экспериментатор знает и значение Тогда, используя соотношение (1), он может определить, какое значение х будет им использовано в эксперименте. Рассмотрим рекуррентное соотношение (1). Пусть для простоты Тогда соотношение (1) принимает следующий вид:

Если значение то а если то Это представляется разумным, так как мы заинтересованы в решении уравнения Если значение положительно, то нужно уменьшить значение х на стадии эксперимента, и наоборот. В гл. 2 формулируются условия, при которых последовательность сходится в среднем и с вероятностью единица к решению 0. Для анализа ситуации d) мы отсылаем читателя к методу определения максимума функции регрессии излагаемому в гл. 3.

Метод «вверх и вниз» — другой последовательный метод, конкурирующий с методом стохастической аппроксимации.