7.2.2. Доказательство сходимости метода Роббинса — Монро

Сходимость метода Роббинса — Монро доказывается следующим образом. Представим случайную величину в виде суммы двух: слагаемых: функции регрессии и шума у. Тогда (7.33) можно переписать следующим образом:

где

Из определения функции регрессии в (7.32) следует, что — случайная величина с нулевым математическим ожиданием

Кроме того, разумно предположить, что дисперсия ограничена

и что статистически независимы.

Рассмотрим разность между корнем уравнения регрессии 0 и его оценкой 0. Из (7.40) следуем что

Возводя (7.44) в квадрат и вгшв математическое ожидание от обеих частей, получим

Повторяя раз (начиная с и суммируя, получим

Предположим, что функция регрессии также ограничена в интересующей нас области

Тогда левая часть (7.46) ограничена выражением

Рассмотрим по отдельности каждый член неравенства (7.48). Во-первых, так как — положительное число, а — конечное, то левая часть (7.48) ограничена снизу. Первый член правой части (7.48) конечен в силу условия (7.36).

Вспомним (см. рис. 7.3), что функция регрессии удовлетворяет следующим условиям:

поэтому

и

Рассмотрим теперь следующее утверждение:

Если (7.52) не выполняется, тогда, вследствие условия (7.35), последний член неравенства (7.48) стремится к Но это

противоречит тому, что левая часть неравенства (7.48) ограничена снизу. Следовательно, утверждение (7.52) должно быть выполнено. Так как условие (7.50) выполняется для всех , утверждение (7.52) эквивалентно утверждению:

Таким образом, сходимость с вероятностью 1 доказана. Доказат тельство сходимости в среднем квадратичном здесь не приводится.