3. Обобщенная процедура Дворецкого

Дворецкий [12] показал, что любую процедуру стохастической аппроксимации можно рассматривать как обычный метод детерминистской (без помех) последовательной аппроксимации, учитывающей наличие составляющей случайной помехи. Если исходить из этой точки зрения, то обобщенный алгоритм стохастической аппроксимации может быть представлен в виде

где -преобразование, свободное от помех, и составляющая случайной помехи.

Теорема 4. Пусть представляют собой множества неотрицательных вещественных чисел, удовлетворяющие следующим условиям:

Пусть измеримые преобразования, удовлетворяющие условию

при всех вещественных

с вероятностью единица при всех Тогда последовательность определенная формулой при сходится к искомой величине 8 в среднеквадратичном с вероятностью единица [9, 12], т. е.

Отметим, что если в формуле

то данная процедура сводится к процедуре Роббинса-Монро. Аналогично, если

то процедура в сущности является процедурой Кифера — Вольфовица. Доказательство этой теоремы, полученное Дворецким, было упрощено Вольфовицем [13], который вскрыл сущность структуры этого процесса. Многомерное обобщение теоремы 4 было доказано Грейем [14]. Ниже приводятся два частных случая процедуры Дворецкого, которые широко используются в параграфе 7.1.

Частный случай 1 (вещественные случайные величины). Пусть измеримые преобразования

где последовательность положительных чисел, удовлетворяющих условию

Условие фактически также предопределяет требование равномерной ограниченности при всех (См. также Молвертон и Роуген Тогда из условий

вытекает с вероятностью единица для всех

Частный случай 2 (нормированное линейное пространство). Предположим, что принимают значения в нормированном линейном пространстве для которого обозначает норму Пусть элемент измеримые преобразования из декартовой степени и допустим, что

где последовательность положительных чисел, удовлетворяющих условию

Введем определение

Тогда из условий

для каждой измеримой функции следует, что

Блок предложил более общий тип стохастической аппроксимации в нормированном векторном пространстве [15].