Минимальная среднеквадратическая ошибка и градиент

Во многих полезных для практики способах адаптации поиск вектора весовых коэффициентов, соответствующего минимуму рабочей функции, осуществляется градиентными методами. Градиент функции СКО, обозначаемый или просто V, можно получить дифференцированием функции (2.13), при этом вектор-столбец

R и P определяются по (2.11) и (2.12). Это выражение получено дифференцированием функции (2.13) по каждому из компонентов вектора весовых коэффициентов. Дифференцирование члена можно осуществить дифференцированием произведения .

Для нахождения минимального значения СКО полагаем, что вектор весовых коэффициентов W равен оптимальному W, градиент которого равен нулю:

Полагая, что R является неособенной матрицей, из (2.16) находим вектор иногда называемый винеровским вектором весовых коэффициентов:

Это равенство является уравнением Винера — Хопфа [8, 9, 12], записанным в матричной форме. Подставляя теперь (2.17) в (2.13), получаем минимальное значение СКО:

Упростим полученный результат, используя следующие три свойства, которые полезны при рассмотрении рабочей функции СКО:

1. Для любой квадратной матрицы существует единичная матрица:

2. Транспонирование произведения матриц:

3. Симметричность корреляционной матрицы входного сигнала:

В соответствии с этими свойствами (2.18) принимает вид

Теперь для того чтобы пояснить введенные понятия квадратичной поверхности, градиента и СКО, рассмотрим пример.