Глава 5. ОЦЕНКА ГРАДИЕНТА И ПРОЦЕСС АДАПТАЦИИ

В рассуждениях гл. 4 предполагалось, что на каждой итерации вектор градиента, необходимый для процесса адаптации, был точно измерен. Однако в большинстве практических приложений точное измерение невозможно и необходимо делать оценку, основанную на ограниченной статистической выборке. Такая оценка «искажена» шумом и можно считать, что она равна сумме истинного градиента и аддитивного шума.

Задача настоящей главы — дать описание общего метода оценки вектора градиента и показать, какое влияние оказывает возникающий при такой оценке шум на процесс адаптации. Рассматриваемый способ, называемый «измерением производной», эквивалентен измерению с линейным приращением вектора весовых коэффициентов. Помимо этого, успешно применяются методы, основанные на приращении по синусоидальному закону. Они отличаются от линейного приращения аналитически, но оказывают на процесс адаптации в основном одинаковое влияние.

Кроме измерения производной, существует метод «мгновенного» оценивания градиента, не зависящий от приращения вектора весовых коэффициентов. Этот метод, рассматриваемый в гл. 6, составляет основу алгоритма наименьших квадратов и является не таким общим, как метод измерения производной, поскольку требует в определенной степени знания характера рабочей функции. Для измерения производной необходимы лишь общие сведения о рабочей функции, поэтому этот способ излагается в первую очередь для того, чтобы дать введение в задачу оценки градиента.

Оценка компонентов градиента методом измерения производной

Как показано на рис. 5.1, единственный компонент вектора градиента можно измерить прямым способом. Параболическая функция СКО с единственной переменной задана соотношениями (3.41) и (4.1). В обозначениях координат имеем

По аналогии с (4.2) и (4.3) производные этой функции

Рис. 5.1. Измерение производной

Напомним, что для реализации метода паискорейшего спуска нужна только первая, а для метода Ньютона — и первая и вторая производные.

Как следует из рис. 5.1, производные (5.2) находятся численно на основе измерения разностей [1]. Следовательно,

Эти приближенные соотношения становятся точными, когда параметр 6 стремится к нулю. Кроме того, они являются точными даже при конечных значениях параметра 6, если рабочая функция представляет собой квадратичную функцию переменной. Исходя из (5.1) для квадратичной рабочей функции имеем