Часть III. АДАПТИВНЫЕ АЛГОРИТМЫ И СТРУКТУРЫ

Большинство понятий, необходимых для синтеза и анализа, имеющих практическое значение адаптивных алгоритмов, рассмотрено в ч. 1 и II. Эти алгоритмы предназначены для поиска точки минимума рабочей функции и слежения за ней при приеме стационарных и нестационарных сигналов.

В ч. III прежде всего приводится описание метода наименьших квадратов, который является простейшим методом коррекции весовых коэффициентов линейного адаптивного устройства обработки. Метод наименьших квадратов, которому посвящена гл. 6, широко применяется во всех видах адаптивных систем, описанных в ч. IV. Основная цель этого материала — рассмотрение метода наименьших квадратов и его применения.

Помимо метода наименьших квадратов ч. III вводятся другие виды адаптивных алгоритмов, которые обладают важными свойствами. Для упрощения изучения этих алгоритмов в гл. 7 приводятся некоторые методы частотного анализа, обычно применяемые при анализе цифровых сигналов. Это обычные методы, и читатели, хорошо знакомые с ними, могут лишь бегло ознакомиться с содержанием гл. 7.

Наконец, в последней части гл. 8 рассматриваются решетчатые структуры. Эти структуры и их применение в адаптивных системах составляют большую область техники, и поэтому в гл. 8 вводятся только основные понятия.

Глава 6. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

В гл. 4 рассмотрены два алгоритма приведения системы к минимуму рабочей функции — методы Ньютона и наискорейшего спуска. В обоих алгоритмах необходимо на каждой итерации проводить оценку градиента, поэтому в гл. 5 даны общие способы оценки градиента. Они являются общими, поскольку основаны на вычислении разностей оцениваемых значений рабочей функции, т. е. значений

В данной главе вводится еще один алгоритм приведения системы к минимуму рабочей функции, который называется методом наименьших квадратов. В этом алгоритме используется специальная оценка градиента, которая применима к рассмотренному в гл. 2 адаптивному линейному сумматору. Таким образом, с точки зрения применения метод наименьших квадратов более ограничен, чем алгоритмы, описанные в гл. 4.

Однако метод наименьших квадратов имеет важное значение, поскольку он является простым в вычислениях и не требует проведения оценки градиента в измерительном канале или повторных вводов данных.

Если адаптивная система представляет собой адаптивный линейный сумматор и на каждой итерации известны входной вектор Х и требуемый отклик то в общем случае лучшим алгоритмом во многих различных приложениях адаптивной обработки сигналов является метод наименьших квадратов.

Вывод алгоритма наименьших квадратов

Напомним, что введенный в гл. 2 адаптивный линейный сумматор реализуется двумя основными способами в зависимости от того, как подаются входные сигналы — параллельно (система с многими входами) или последовательно (система с одним входом). Эти два способа показаны на рис. 6.1. В обоих случаях выходной сигнал сумматора является линейной комбинацией отсчетов входного сигнала. Аналогично соотношению (2.8) имеем

где для обеих схем на рис. — вектор отсчетов входного сигнала.

Для получения адаптивного алгоритма изложенными выше способами можно было бы найти оценку градиента ошибки вычислив разности между соседними средними значениями Вместо этого в качестве оценки возьмем само значение Тогда на каждой итерации адаптивного процесса оценка градиента

Частотные производные ошибки по весовым коэффициентам находятся непосредственно из (6.1).

Имея такую простую оценку градиента, можно определить адаптивный алгоритм, аналогичный формуле метода наискорейшего спуска. Из (4.36) имеем формулу алгоритма метода наименьших квадратов [3, 4]:

(6.3)

Здесь, как и ранее, параметр определяет скорость и устойчивость процесса адаптации. Поскольку изменения весовых коэффициентов на каждой итерации осуществляются по неточным оценкам градиента, следует ожидать, что в адаптивном процессе возникает шум, т. е. адаптация протекает не по истинной траектории, соответствующей наискорейшему спуску.

Рис. 6.1. Общий вид адаптивного линейного сумматора (а) и трансверсальный фильтр (б)

Из соотношения (6.3) следует, что метод наименьших квадратов можно реализовать в реальных системах, не проводя операции возведения в квадрат, усреднения и вычисления производных, и поэтому он прост и эффективен. Как отмечено выше, каждый компонент вектора градиента находится по единственному отсчету данных и без введения приращения в вектор весовых коэффициентов. Если не приводится усреднение, то компоненты градиента обязательно содержат большую составляющую шума, но этот шум уменьшается самим процессом адаптации с течением времени, действие которого в этом отношении эквивалентно действию низкочастотного фильтра. Перейдем теперь к обсуждению некоторых свойств метода наименьших квадратов и на нескольких примерах покажем способы его применения.