7.7.2. Метод стохастической аппроксимации

Если наблюдаемые в выбранных точках значения функции признаков являются случайными величинами, описываемыми плотностями распределения то получение аппроксимирующей функции нельзя основывать на критерии, определяемом формулой (7.7.1). В этом случае удобно в качестве соответствующего критерия выбрать математическое ожидание некоторой выпуклой функции отклонения аппроксимирующей функции от аппроксимируемой функции Подобный критерий ошибки можно представить в виде

где — выпуклые функции типа Задача выделения признаков сводится к отысканию наилучшей аппроксимирующей функции минимизирующей ошибки (7.7.18).

При представлении функции признаков в виде линейной комбинации базисных функций подстановка выражения (7.7.2) в (7.7.18) приводит к

Реализация процедуры минимизации относительно коэффициентов приводит к соотношению

где

Для каждого значения формула (7.7.20) определяет систему уравнений для определения коэффициентов Поскольку в (7.7.20) входит неизвестная плотность распределения, решение можно найти методом стохастической аппроксимации (см. гл. 6).

Воспользовавшись этим методом, получаем решение уравнения (7.7.20) в виде рекуррентной формулы

где — значение коэффициента на шаге итерации, — вектор коэффициентов на шаге итерации и — элемент последовательности такой, что

(см. (6.2.5)). Алгоритм (7.7.21) обеспечивает выполнение некой процедуры последовательных приближений, т. е. коэффициенты сходятся по вероятности к решению уравнения (7.7.20) при стремлении числа итераций к бесконечности. Другими словами,

и

где — коэффициенты решения. Начальные значения коэффициентов, используемые в рекуррентном алгоритме, выбираются произвольно.

Рассмотрим частный случай алгоритма (7.7.21), когда в качестве функции выбирается абсолютная величина отклонении аппроксимирующей функции от функции признаков т. е.

В таком случае, поскольку

рекуррентный алгоритм принимает вид

Если в качестве функции выбирается квадрат отклонения аппроксимирующей функции от то

и рекуррентный алгоритм принимает вид

Эти рекуррентные алгоритмы являются удобной схемой для определения приближенных статистических функций признаков по предъявленной обучающей выборке.