6.2.3. Обобщение на многомерный случай

Алгоритм Роббинса — Монро допускает непосредственное обобщение на многомерный случай. Задача принимает вид отыскания корня функции регрессии по результатам зашумленных измерений где согласно принятым обозначениям. Другими словами, алгоритм Роббинса — Монро обеспечивает в многомерном случае коррекцию оценки корня полученной на шаге итерации при начальной (произвольной) оценке с помощью соотношения

где — элемент последовательности положительных чисел, удовлетворяющей условиям (6.2.5). Если к тому же справедливы векторные аналоги допущений (6.2.1), (6.2.3) и (6.2.6), то сходимость алгоритма Роббинса — Монро в многомерном случае гарантируется как в среднеквадратичном, так и по вероятности 1. Это означает, что при несмещенности результатов зашумленных измерений, конечности их дисперсии относительно функции регрессии и ограниченности самой этой функции можно доказать сходимость алгоритма (6.2.9), если последовательность корректирующих коэффициентов подчиняется

условиям (6.2.5), т. е. показать, что

и

где — квадрат модуля вектора .

Правила ускорения сходимости для многомерного случая сформулировать очень трудно. Хотя для ускорения сходимости и предполагались специфические комбинации стохастической аппроксимации с другими известными методами оптимизации, алгоритмы, получаемые в результате, как правило, в силу своей сложности не оправдывали предпринятых чрезвычайных мер. Поэтому мы сосредоточимся на алгоритме Роббинса — Монро в его первозданном виде (6.2.9). Следует иметь в виду, что медленная сходимость этого алгоритма типична для всех алгоритмов стохастической аппроксимации.