2. Многомерный метод Роббинса — Монро

В этом параграфе обсуждаются результаты Блюма [2], разработавшего методы многомерной стохастической аппроксимации и сформулировавшего условия, при которых они сходятся почти наверное к решению стохастических уравнений от неизвестных и к точке, где функция регрессии достигает своего максимума.

Пусть суть семейств случайных величин с семействами функций распределения соответственно, каждое из которых зависит от действительных переменных Обозначим через

соответствующие функции регрессии. Предполагается, что распределения и неизвестны; однако есть возможность производить наблюдения случайной величины для и произвольного набора действительных чисел

Пусть действительное -мерное векторное пространство, натянутое на ортогональные единичные векторы Если х и у — два вектора из то их скалярное произведение обозначается через - а их нормы — через соответственно. Предположим, 1 что каждому соответствует случайный вектор Обозначим через вектор, представляющий условное математическое ожидание вектора когда х фиксирован.

Пусть теперь есть действительная функция, определенная на и обладающая непрерывными частными производными первого и второго порядка. Вектор первых частных производных будет обозначаться через а матрица вторых частных

производных через , т. е.

Тогда для любого действительного числа а по теореме Тейлора имеем

где — действительное число, такое, что Возьмем математическое ожидание от обеих частей равенства. Получим

Пусть теперь последовательность положительных чисел. Рассмотрим следующую последовательность рекуррентно определяемых случайных векторов:

где X, выбран произвольно и имеет распределение если наблюдаемое значение Мы будем использовать следующие обозначения:

Если вместо х подставляются случайные величины а вместо а — числа то соответствующие случайные величины обозначаются через

Теорема 1 (Блюм). Предположим без ограничения общности, что и рассмотрим следующее множество А условий.

Тогда последовательность определенная равенством (2), сходится к нулю почти наверное (п. н.).

Доказательство. Из (1) получаем, что

Так как то в силу условий

И то и другое неравенства справедливы для всех . В противном случае нетрудно получить противоречие с условиями А. Поэтому

В силу условий и задачи 2 [см. приложение 2, § 5] получаем, что

Вычисляя математическое ожидание от обеих частей равенства (3) и повторяя уже проводившиеся рассуждения, мы приходим к такому равенству:

Из сказанного выше, а также из свойств математического ожидания и условного математического ожидания следует, что

Так как V неотрицательно и ряд сходится, то

ряд из неположительных членов также сходится. В силу того, что имеем

Пусть бесконечная последовательность целых чисел, такая, что

Тогда сходится к нулю по вероятности в силу неравенства Чебышева и существует подпоследовательность, скажем такая, что

Из условия (iii) следует, что Так как непрерывная функция от то из (5) вытекает соотношение

Теперь рассмотрим одну из последовательностей такую, что для соответствующей последовательности существует предел равный Из условия (iv) ясно, что для такой последовательности

В противном случае мы получили бы противоречие с Поэтому из (6) вытекает требуемый результат.

Таким образом, если суть заданных чисел, то

является (в предположении, что выполнены все сформулированные условия) процедурой стохастической аппроксимации, которая дает решение системы уравнений

с вероятностью единица.

Рассмотрим теперь один иллюстративный пример и покажем, что условия теоремы действительно могут осуществиться.

Пример (Блюм). Пусть В — отрицательно определенная -матрица. Предположим следующее:

(i) для некоторого из неравенства следует, что ;

(ii) из неравенства следует, что ;

(iii) для каждого и каждого где компоненты вектора Y.

Таким образом, равномерно ограничены по х. Пусть теперь Выберем последовательность удовлетворяющую условию (i). Условия и очевидно, выполняются для выбора Далее, имеем

Из ограниченности ясно, что условие (v) также выполнено. Чтобы проверить (iii), можно использовать следующий факт: для любой отрицательно определенной матрицы В существует положительное число такое, что Таким образом, если положительно и то Если то

Поэтому условие (iii) также выполнено. Таким образом, для этого простого примера все условия теоремы удовлетворяются и, значит, можно использовать теорему .1.

В следующем параграфе мы рассмотрим ситуацию, когда многомерную стохастическую аппроксимацию можно свести к одномерной стохастической аппроксимации и получить требуемый результат теоремы Дворецкого (см. по этому поводу Эплинг [1]).