Сходимость вектора весовых коэффициентов

Как и для всех адаптивных алгоритмов, основной характеристикой метода наименьших квадратов является сходимость вектора весовых коэффициентов к оптимальному, при котором достигает минимума. Для анализа сходимости метода наименьших квадратов прежде всего покажем, что оценка градиента (6.2) является несмещенной, если вектор весовых коэффициентов остается постоянным. Математическое ожидание оценки (6.2) при

Второе равенство в (6.4) следует из (6.1) с учетом того, что ей является скалярной величиной.

Последнее равенство вытекает из определений векторов Р и R, данных в гл. 2, и из соотношения (2.15). Поскольку среднее значение оценки равно истинному градиенту V, то должно быть несмещенной оценкой.

Имея в виду, что оценка градиента является несмещенной, можно, по крайней мере в некоторых случаях, привести метод наименьших квадратов к методу наискорейшего спуска. Для этого на каждом шаге в соответствии с (6.2) проводится оценка градиента V, но не осуществляется адаптивная перестройка весовых коэффициентов до тех пор, пока не будет пройдено достаточно много шагов. В этом случае можно сделать так, чтобы оценка приближалась к градиенту а соотношение (6.3) — к соотношению (4.36). Поскольку вектор весовых коэффициентов изменяется на каждой итерации, сходимость вектора весовых коэффициентов следует рассматривать иначе.

Из (6.3) видно, что вектор является функцией только предыдущих векторов входного сигнала Можно показать, что при выполнении этого условия для входного сигнала, являющегося стационарным случайным процессом, математическое ожидание вектора весовых коэффициентов при усреднении по большому числу итераций сходится к винеровскому оптимальному вектору, задаваемому соотношением (2.17), т. е. к вектору

Вычисляя математическое ожидание обеих частей равенства (6.3), получаем разностное уравнение

Полагая, что векторы являются независимыми, в (6.5) по аналогии с (6.4) имеем математическое ожидание произведений. Кроме того, подставляя (2.17) для оптимального вектора приводим (6.5) к виду

Но теперь это равенство соответствует математическому ожиданию выражения (4.38), для которого при переходе к системе координат главных осей найдено решение (т. е. получена нерекурсивная формула). Для математического ожидания из (4.42) имеем

где V — вектор весовых коэффициентов W, приведенный к системе координат главных осей; — диагональная, матрица собственных значений матрицы — начальный вектор весовых коэффициентов.

Таким образом, при неограниченном увеличении k математическое ожидание вектора весовых коэффициентов (6.7) стремится к оптимальному вектору (т. е. к началу системы координат главных осей) только тогда, когда правая часть этого равенства сходится к нулю. Из (4.45) следует, что такая сходимость возможна только, если

где — наибольшее собственное значение, т. е. наибольший диагональный элемент матрицы А.

Итак, неравенство (6.8) дает границы параметра в которых среднее значение вектора весовых коэффициентов сходится к оптимальному вектору. Скорость адаптации, а также составляющая шума вектора весовых коэффициентов зависит от значения параметра в пределах этих границ. Кроме того, отметим, что значение не может превышать след матрицы R, равный сумме ее диагональных элементов:

Более того, из (2.11) следует, что для трансверсального адаптивного фильтра или мощности входного сигнала, умноженной на . Поэтому среднее значение вектора весовых коэффициентов сходится, если

Неравенство (6.10) определяет более строгую границу параметра чем (6.8), но его проще использовать, так как в общем случае легче найти элементы матрицы R и мощность сигнала, чем собственные значения матрицы R.

Использование при выводе результатов этого раздела предположение о некоррелированности и стационарности сигнала не является обязательным условием сходимости метода наименьших квадратов и принято в этой главе для упрощения анализа. В [2, 6] показана возможность сходимости метода наименьших квадратов и при некоторых коррелированных и нестационарных входных сигналах. Однако при этом намного сложнее становится анализ сходимости алгоритма, и не существует доказательства сходимости метода наименьших квадратов для произвольных условий.