Алгоритм последовательной регрессии

Сравнение идеального алгоритма (8.5) и метода наименьших квадратов (6.3) показывает, что переход от начального вектора W к оптимальному W осуществляется по прямой, а не по траектории наискорейшего спуска из-за того, что известна матрица . Поэтому для получения алгоритма, более близкого к идеальному, следует рассмотреть возможность оценки на каждом шаге матрицы приближаясь таким образом к идеальному алгоритму (8.5).

Именно такой подход использован в алгоритме последовательной регрессии [1, 2], где вычисляется оценка матрицы , что в общем случае повышает эффективность алгоритма на каждом шаге и тем самым приближает его к (8.5). Для вывода алгоритма последовательной регрессии рассмотрим прежде всего способ оценки матрицы R, что является более простой задачей, чем оценка матрицы .

Используя обозначения формул (7.38) и (7.62), выразим элементы матрицы R через корреляционную функцию входного сигнала

где — сдвиг относительно главной диагонали. Кроме того, по (2.11) можно записать

Последняя формула более подходит для решения указанной задачи, поскольку позволяет рассматривать адаптивные системы как с одним, так и со многими входами.

Вместо того чтобы находить математическое ожидание в (8.22) по всем значениям индекса k, положим, что имеется только конечное число наблюдений сигнала X, например от до Х. Для стационарного сигнала наилучшая несмещенная оценка матрицы R

Видно, что в процессе адаптации, когда сигнал X является нестационарным, формула (8.23) не дает хорошей оценки матрицы R, так как при больших значениях индекса k эта оценка становится нечувствительной к изменениям матрицы

Чтобы исключить этот эффект, рассмотрим следующую функцию:

Из сравнения этой функции с функцией (8.23) видно, что она отличается от наличием весовых множителей. Эмпирически можно выбрать значение а таким, чтобы экспоненциальная функция уменьшалась вдвое за такое число итераций, при котором X; оставался стационарным, т. е.

Сумма всех весовых множителей по k итерациям

Поэтому взвешенная оценка матрицы R на итерации (которая является точной, например, когда постоянен при )

Очевидно, что в предельном случае, когда сигнал X; является стационарным для всех наблюдений, а стремится к 1 в (8.25), а соотношение (8.27) в пределе равно (8.23).

Имея оценку R, перейдем к выводу алгоритма последовательной регрессии. При этом для простоты опустим весовой множитель и рассмотрим , а не R. Из (2.16) получим сначала выражение для оптимального вектора весовых коэффициентов:

Здесь вместо истинных значений, используемых в гл. 2, взяты оценки. Предположим, что оценка матрицы Р получена аналогично оценке матрицы R в соответствии с (8.27). Тогда по определению Р в (2.12)

Подставляя (8.27) и (8.29) в (8.28) и сокращая весовой множитель, получаем

На основании (8.30) проведем теперь вывод алгоритма последовательной регрессии, котерый аналогичен выводу в [1, 2, 32].

Будем считать, что по оценкам вычислен вектор (а не вектор W). Тогда из (8.28) — (8.30)

Это — другая форма записи выражения (8.30), причем в последнем равенстве подставлено полученное из (8.24) соотношение

Далее подставим в (8.31) выражение (2.8) для полезного сигнала

Умножим теперь обе части равенства слева на :

Поскольку приблизительно совпадает с точностью до множителя, это выражение есть другая форма идеального алгоритма (8.5). Из (8.27)

(8.35)

При рассмотрении установившегося состояния, когда А является достаточно большим, чтобы можно было пренебречь в (8.35) значением выражение (8.34) принимает вид

что является приближением к (8.5). Отметим, что для нестационарных сигналов — переменная величина, которую можно регулировать в процессе адаптации. Кроме того, исключение множителя в последнем слагаемом выражения (8.36) эквивалентно введению большого значения в (8.5). Если нужно учесть начальные условия, то можно ввести весовой множитель и привести (8.36) к виду

Для обеих записей алгоритма последовательной регрессии необходимо иметь возможность на каждой итерации вычислять . Алгоритм вычисления можно вывести так же, как это сделано выше, в данном случае начиная с интеративной формулы для (8.32).

Умножая обе части (8.32) слева на справа — на , а затем на получаем

или

Разделим теперь обе части равенства на скалярный множитель в круглых скобках и умножим справа на :

Подставляя (8.38) в правую часть (8.40), после некоторых преобразований имеем

Соотношение (8.41) описывает итеративный алгоритм вычисления , входящего в (8.34). Отметим, что вектор

трижды входит в (8.41), поэтому в данном алгоритме вычисляется первым. Кроме того, знаменатель в (8.41) является скалярной величиной и поэтому вычисляется отдельно.

В качестве начального значения в (8.41) для стационарного случайного процесса в [5] предложено где — большая константа. Такой выбор начального значения подходит и для процесса адаптации, хотя предпочтительней выбирать близко к истинному значению, если его можно оценить. На рис. 8.3 приведен пример сходимости для различных начальных условий. В этом примере приняты следующие исходные данные:

Входной сигнал с корреляционной матрицей R построен на основе результатов упражнения 25 в гл. 7. Затем из (8.8), в предположении, что k в (8.35) больше, получены . На рис. 8.3, а показан процесс сходимости при двух значениях а, соответствующих последовательностям с длинами 10 и 100 в (8.25), и двух начальных параметрах . На рис. 8.3,б для тех же значений а и показан процесс сходимости . Как видно из графиков, при выборе близким к правильному конечному значению процесс сходится быстрей для и несколько медленнее для (вертикальная ось имеет логарифмический масштаб). Как и предполагалось, при малых значениях а оценки имеют большую шумовую составляющую, но процесс сходится быстрее.

Рис. 8.3. Процесс сходимости элементов функции для различных значений . Средние конечные значения найдены из (8.43)

Из (8.41) следует, что если — симметрическая матрица, то — также симметрическая матрица, что имеет место в рассматриваемом примере.

Итак, получены окончательные формулы алгоритма последовательной регрессии. Аналогичным образом этот алгоритм рассматривается в [1, 2, 5, 24], где, как правило, . Еще один подобный алгоритм предложен в [4]. Основная суть рассмотренного здесь алгоритма состоит в следующем. Выше отмечалось, что можно оценивать по фактическим данным, при этом в случае нестационарных сигналов может появиться необходимость в постоянном уточнении Хер. Отметим, что для случая, когда полностью отсутствуют данные о статистических свойствах сигнала, значение множителя всегда находится в интервале от 0 до 1.

Поэтому можно выбрать некоторое гарантированное значение этого множителя (например, 0,05, наиболее принятое на практике; см. упражнение 14):

начальный вектор весовых коэффициентов;

Чтобы подчеркнуть, что при переходе от одной итерации к другой нет необходимости сохранять вектор S и величину у, здесь опущен индекс. Вычисление осуществляется по более точной формуле (8.37), S — по формуле (8.42) и — по формуле (8.41). Для значений а и как показано на рис. 8.3, требуется лишь грубое приближение, а можно примерно приравнять мощности входного сигнала.

Рис. 8.4. Сравнение алгоритмов последовательной регрессии и наименьших квадратов при . Рабочая функция аналогична приведенной на рис. 8.2. Каждая траектория представлена 100 итерациями. В данном примере поэтому и полностью удовлетворяет (8.44)

На рис. 8.4. показан процесс адаптации по алгоритму последовательной регрессии (8.44). Приведенный пример — тот же, что и на рис. 8.2, поэтому оба графика можно непосредственно сравнивать. Значение выбрано таким, чтобы оно соответствовало длине стационарного сегмента сигнала в первом соотношении (8.44), равной десяти отсчетам. Алгоритм последовательной регрессии эффективней метода наименьших квадратов, и оптимальный вектор весовых коэффициентов достигается за число итераций, значительно меньшее 100, поскольку, как это следует из рис. 8.3, имеет достаточно хорошее приближение к после нескольких итераций. С другой стороны, траектория адаптации по алгоритму последовательной регрессии на рис. 8.4 не является столь прямой, как траектория идеального алгоритма на рис. 8.2, что связано с неточностью вычисления матрицы в течение первых нескольких итераций.