8.3. ОПРЕДЕЛЕНИЕ ПОСТОЯННЫХ ПАРАМЕТРОВ ПО ВЫБОРКЕ ИЗ НЕЗАВИСИМЫХ ЗНАЧЕНИЙ. ПРОЦЕДУРА РОБИНСА—МОЧРО

Довольно широкий круг практических задач сводится к следующей математической постановке. Пусть имеется совокупность величин каждая из которых является вектором некоторой размерности и может быть представлена в виде

где известная функция своих аргументов; -случайная величина, которая также является вектором некоторой размерности некоторый параметр той же размерности, что Пусть также величины независимы или (в несколько

более общем виде) условное распределение вероятности при фиксированных значениях входящих в совпадает при с распределением вероятности Пусть также определено, но неизвестно условное математическое ожидание (при фиксированном X)

которое обычно называется функцией регрессии у на к, и пусть уравнение регрессии

имеет корень при некотором

Пусть величинами, доступными наблюдению, являются только так что полная совокупность данных наблюдения есть с распределении вероятностей которой неизвестно ничего, кроме оговоренных выше ограничений, и пусть задачей статистического решения является определение значения ко (корня уравнения регрессии). Тогда мы имеем непараметрическую задачу определения постоянного параметра (значения по выборке с довольно большой априорном неопределенностью.

Рассмотрим решение этой задачи с помощью адаптивного байесова подхода, ограничившись сначтла для простоты и ясности понимания простейшим случаем, когда

при этом, естественно, т. е. векторы х и к имеют одинаковую размерность. Заменяя в соответствии с принципами адаптивного байесова подхода операцию вычисления математического ожидания эмпирическим осреднением, получаем

и решение уравнения регрессии

что, конечно, совпадает с тривиальной оценкой с помощью эмпирического среднего.

Покажем, что то же правило решения получается и при использовании понятия апостериорного риска. В соответствии с постановкой задачи решением и является оценка корня уравнения регрессии что для случая (8.3.4) соответствует квадратичной функции потерь Апостериорный риск

требует для своего вычисления знания апостериорного распределения вероятности При каждом величина является оценкой

значения поэтому оценкой апостериорного распределения вероятности является выборочное распределение с плотностью

а оценкой апостериорного риска —

Минимизируя это выражение по и. получаем правило решения (8.3.6), определяющее неизвестное значение по совокупности данных наблюдения

Правило решения (8.3.6) (оценка корня уравнения регрессии зависит от объема выборки и может быть представлено в рекуррентной форме. Действительно,

где оценка корня уравнения регрессии по совокупности данных наблюдения

Это же рекуррентное соотношение определяет корень уравнения регрессии и в общем случае, когда не обязательно имеет вид а является более или менее произвольной функцией своих аргументов. Если, кроме того, заменить в произвольной последовательностью весовых коэффициентов удовлетворяющих соотношениям (см. (8.2.18), (8.2.19))

то придем к общей процедуре стохастической аппроксимации Робинса — Монро для вычисления корня уравнения регрессии

которая является решением непараметрической задачи нахождения постоянного параметра определяемого соотношениями (8.3.2), (8.3.3) по выборке Как всегда, рекуррентные соотношения (8.3.9), (8 3.11) нужно дополнить заданием какого-либо начального значения

Рекуррентное соотношение (8.3.11) действительно имеет решение, сходящееся с вероятностью единица к истинному значению если помимо выполнены условия, аналогичные (8.2.21), (8.2.22), а именно

при всех А, кроме и

где С — симметричная положительно определенная матрица, и

Уверенность в выполнении этих условий (напомним, что по постановке задачи функция регрессии и математическое ожидание квадрата вектора неизвестны, иначе задачи просто не существует, поскольку о известно как решение уравнения является дополнительной необходимой априорной информацией, при отсутствии которой нет никакой гарантии в возможности получения решения с помощью процедуры стохастической аппроксимации.

Для более четкого понимания условия (8.3.12) рассмотрим одномерный случай, когда это условие принимает вид

огкуда следует, что производная в окрестности точки должна быть отрицательна и что при функция от должна быть положительна, а при — отрицательна. Эти требования являются довольно жесткими ограничениями на вид функции регрессии. Аналогичный смысл имеет условие (8.3.12) и в многомерном случае.

Второе условие (8.3.13) требует, чтобы средний квадрат вектора при больших значениях модуля к рос медленнее, чем квадрат вектора Это означает, в частности, что функция регрессии с увеличением к должна возрастать по модулю не быстрее, чем модуль k.

Отметим, что в [23] приведены более общие условия сходимости процедуры стохастической аппроксимации. Там же показано, что при некоторых дополнительных условиях разность асимптотически нормальна с корреляционной матрицей порядка зависящей от выбора коэффициентов от матрицы и корреляционной матрицы вектора при

Отмечая такие высокие достоинства процедуры стохастической аппроксимации, как большую степень универсальности, асимптотическую сходимость и асимптотическую нормальность в довольно широких условиях, нужно все-таки подчеркнуть, что эффективность правил решения, получаемых с помощью этой процедуры, обычно ниже, чем эффективность правил решения, получаемых при использовании метода максимального правдоподобия и вообще при параметрическом описании априорной неопределенности.

Рассмотрим для иллюстрации самый простой одномерный пример. Пусть вид функции известен, а значение подлежит определению. Тогда, введя величины можно применить для нахождения процедуру стохастической аппроксимации, которая при выборе весовых коэффициентов дает решение причем ошибка определения величины — разность асимптотически нормальна с дисперсией [23]

где дисперсия случайной величины производная функции

Для сходимости процедуры в данном случае требуется выполнение следующих условий:

Последнее условие из-за незнания значения заставляет выбирать достаточно большое значение коэффициента а

ибо в противном случае нет гарантии, что разность при всех будет иметь ограниченный средний квадрат Целесообразно выбрать значение а так, чтобы минимизировать максимальное (по ) значение дисперсии

Это максимальное значение достигается при а минимизирующее значение При таком выборе коэффициента а

И, наконец, если бы было известно, то можно было при каждом минимизировать величину выбором поэтому

Пусть теперь для нахождения применен метод максимального правдоподобия. Оценка максимального правдоподобия асимптотически нормальна с дисперсией (см гл 7)

где плотность распределения вероятности случайной величины Поскольку

то даже при оптимальном выборе коэффициента (подчеркнем, что фактически это можно сделать только для того значения для которого дисперсия оценки, полученной при использовании процедуры стохастической аппроксимации, больше дисперсии оценки максимального правдоподобия. Эффективность этих оценок становится одинаковой в единственном случае, когда функция линейна а случайные величины имеют нормальное распределение вероятности (для нормального распределения в (8.3.19) достигается равенство). При этом, конечно, процедура стохастической аппроксимации просто совпадает с процедурой рекуррентного вычисления оценки максимального правдоподобия. Во всех остальных случаях процедура стохастической аппроксимации обладает меньшей эффективностью.