7.2.5. Метед потенциальных функций.

В методе стохастической аппроксимации последовательная аппроксимация применяется для оценки пабора параметров, дающих нулевое значение или точку экстремума функции регрессии. Эти результаты можно применить для оценивания самой функции регрессии.

Представим функцию регрессии разложением по данной системе базисных функций

где должны удовлетворять условию

В предположении, что функции заданы, функция регрессии определяется множеством параметров Это похоже на задачу построения линейного классификатора, в котором роль функции играют случайные величины х.

Выбор базисных функций в сильной степени зависит от конкретной задачи, поскольку вид функции выбирается из содержательных соображений. Вообще говоря, мы должны искать такие чтобы коэффициенты 0 быстро уменьшались с ростом Кроме того, для упрощения доказательств систему функций выбирают обычно ортоиормироваиной, т. е.

При наличии помех результат наблюдения данного объекта X является случайной величиной с математическим ожиданием Поэтому, если мы хотим найти минимизирующее среднеквадратичное отклонение от то мы должны решить уравнение

где функции предполагаются ортономироваппыми.

Следовательно, коэффициенты определяются следующим образом:

Когда требуется последовательная аппроксимация, то коэффициенты 0 можно оценить с помощью итерационной процедуры

или, в векторной форме,

где . Это уравнение означает использование метода Роббинса — Монро с последовательностью удовлетворяющей условиям (7.34) — (7.36).

Умножив (7.71) на получаем процедуру последовательной аппроксимации самой функции а не коэффициентов ее разложения 0:

где

Функцию называют потенциальной функцией, а процедуру последовательной аппроксимации (7.72) — методом потенциалъных функций.

Хотя мы получили метод потенциальных функций, отправляясь от точки зрения стохастической аппроксимации, этот метод можно сформулировать непосредственно и в более общем виде следующим образом. Функция которая может быть как детерминированной, так и стохастической, последовательно проксимируется с помощью следующей процедуры:

где функция ее наблюдения и потенциальная функция ограничены. Потенциальная функция удовлетворяет

условиям

и

где

Если имеют вид

где удовлетворяет условиям (7.34) — (7.36), процедура (7.75) сходится по вероятности. Доказательство приведено в [Айзерман, 1964].

Хотя существует широкий диапазон потенциальных функций, удовлетворяющих приведенным выше условиям, выбор потенциально функции несколько упрощается благодаря тому факту, что потенциальные функции симметричны относительно векторов X и Y. Было предложено в качестве таких симметричных функнций использовать функции расстояния между X и .

Двумя типичными примерами потенциальных функций являются

и