7.2.3. Задача поиска максимума функции регрессии.

Метод Роббинса — Монро легко модифицировать таким образом, чтобы вместо корня искать максимум функции регрессии.

Как хорошо известно, точка максимума функции есть корень уравнепия Поэтому, если бы можно было из- мерять то мы могли бы непосредственно применить метод Роббинса — Монро. К сожалению, в большинстве приложений измерение невозможно.

Рис. 7.5. Метод Кифера — Вольфовица.

Будем поэтому измерять производную экспериментально, делая пробные шаги, и модифицировать следующим образом:

Эта последовательная процедура носит название метод Кифера — Вольфовица. Рис. 7.5 иллюстрирует этот метод.

Коэффициенты — это последовательности положительных чисел, стремящиеся к нулю (для того, чтобы процесс был сходящимся):

Чтобы обеспечить достаточную величину коррекции, т. с. избежать остановки процесса не доходя до максимума, числа должны удовлетворять условию

Кроме того, для того чтобы погасить накапливающееся влияние шума, должно выполняться условие

Доказано, что если удовлетворяют этим условиям, оценка сходится к максимуму функции регрессии в среднем квадратичном и с вероятностью 1 (при условии, что дисперсия шума и крутизна функции регрессии ограничены). Доказательство аналогично доказательству сходимости метода Роббинса — Монро и здесь не приводится.