2. Метод моментов

Теорема 1 (Буркхольдер). Предположим, что процесс стохастической аппроксимации типа последовательность действительных чисел,

последовательность положительных чисел, 0 — действительное число, а положительные числа, такие, что

(i) для всех из множества положительных чисел.

(ii) Последовательность функций где для каждого

непрерывно сходится в точке 0 к (т. е. если последовательность действительных чисел с пределом 0, то при и удовлетворяет условию для всех .

(iii) непрерывно сходится в точке 0 к и удовлетворяет условию для всех (

(v) измерима по Борелю для каждого у из

(vii) Все моменты конечны.

Тогда если то

откуда следует, что асимптотически нормальна со средним нуль и дисперсией .

Доказательство. Положим где неотрицательное целое. Легко проверить, что в

предположениях теоремы эти математические ожидания существуют. Если то

Пусть для каждого из таких, что мы имеем

и если , то

По условиям

Таким образом, если четно, то

Так как в силу леммы 17 (см. приложение 3) является неубывающей функцией для то из (5) следует, если четно, что

Имеем для Поэтому из (5) и соотношения которое следует из получаем, если четно, что

Если

Так как

мы получаем, что

Если принадлежат то

и, следовательно,

(I) Докажем теперь, что если положительное число, то существует действительное число такое, что

Поскольку является неубывающей по для то достаточно доказать выполнение условия (10) для каждого четного натурального Рассмотрим случай Применяя соотношения (7) и (8) к равенству (2), получаем

и, применяя соотношения (6) и (8) к равенству получаем

Из предположений теоремы и выписанных выше соотношений следует, в силу леммы 4 приложения 3, что

Таким образом, (10) имеет место для

Предположим, что четно, и (10) имеет место для каждого четного натурального числа Тогда, конечно, для каждого положительного Использование этого факта и соотношения (9) дает

Подстановка соотношений (7), (8) и (11) в (3) приводит к неравенству

Подстановка соотношений (6), (8) и (11) в (3) дает

Таким образом, в силу леммы 4 приложения 3

По индукции (10) имеет место для каждого четного натурального числа. Таким образом, утверждение (I) доказано.

(II) Затем мы покажем, что если то

Если то в силу утверждения (I)

Так как мы имеем следующее соотношение:

Таким образом,

где Поэтому, если то

Кроме того,

Последнее равенство мы получили, используя (12); таким образом,

Из соотношений (12), (13) и (14) следует утверждение (II). Используя условия (ii), (vi) и утверждения (I), (II) в применении к (4), получаем в силу леммы 2 (см. приложение. 2, § 2), что если то

Аналогично, если то

К тому же

Теперь по индукции покажем, что

где

Рассмотрим случай Подстановка (15) в (1) дает

откуда вытекает существование такого натурального числа что если то

Используя лемму 2 приложения 3 и неравенство получаем, что откуда следует справедливость соотношения (18) для

Рассмотрим случай Подстановка соотношений (15) и (16) в равенство (2) дает

Тогда в силу леммы 4 приложения 3 соотношение (18) справедливо для Предположим, что натуральное число, большее 2, и (18) имеет место для Используя (15), (16), (17) и применяя предположения индукции к (3), приходим к выводу, что

Если нечетно, мы продолжаем рассуждать, как и в случае и находим в силу леммы 4 приложения 3, что Если четно, то из леммы 4 приложения 3 следует, что

Таким образом, по индукции соотношение (18) имеет место для любого натурального Этим завершается доказательство теоремы.