4. Класс процессов стохастической аппроксимации

В этом параграфе мы следуем Буркхольдеру [1] в определении класса процессов стохастической аппроксимации. Попутно Буркхольдер обобщает метод Кифера и Вольфовица для нахождения положения максимума или минимума; этим методом, например, можно определить положение точки перегиба, если она существует. Кроме того, при помощи этого метода можно дать единую трактовку предмета стохастической аппроксимации.

Определение. Пусть для любого целого положительного функция определена и принимает значения в множестве действительных чисел. Пусть для любой упорядоченной пары где целое положительное, действительное число, случайная величина с функцией распределения такой, что

Пусть последовательность положительных чисел, а случайная величина. Положим для

где случайная величина с условным распределением

В этом случае называется процессом стохастической аппроксимации типа

Определение. Пусть действительная функция, определенная на множестве действительных чисел. Для каждого действительного числа х пусть случайная величина с функцией распределения такой, что Обозначим через последовательность положительных чисел, черр последовательность целых положительных чисел и через а действительное число. Пусть X, — случайная величина. Для каждого натурального

положим по определению

где — случайная величина с условной функцией распределения при данных Случайная последовательность называется процессом стохастической аппроксимации типа

Определение. Пусть действительная функция, определенная на множестве действительных чисел. Для каждого действительного числа х пусть случайная величина с функцией распределения такой, что Пусть последовательности положительных чисел, последовательность положительных целых чисел и случайная величина. Определим для

где случайные величины, которые распределены условно независимо при данных и имеют функции распределения соответственно. Случайная последовательность называется процессом стохастической аппроксимации типа

Определение. Пусть действительная функция, определенная на множестве действительных чисел. Для каждого действительного числа х пусть случайная величина с функцией распределения такой, что Пусть последовательности положительных чисел, последовательность положительных целых чисел. Положим

где случайные величины, распределенные условно независимо при данных и имеющие функции распределения

соответственно. Тогда случайная последовательность называется процессом стохастической аппроксимации типа

Аналогично можно определить процессы стохастической аппроксимации типа .

Сформулируем теорему, принадлежащую Буркхольдеру [1].

Теорема 4. Предположим, что является процессом типа а — действительное число, такое, что есть функция распределения с соответствующей плотностью распределения для

Если

Доказательство может быть проведено тем же путем, что и доказательство теоремы гл. 2. Поэтому мы его опустим.

В следующем параграфе мы обсудим, как можно использовать этот метод в последовательном регрессионном анализе. Рассматриваемый ниже пример покажет применимость метода Буркхольдера.