Среднее значение СКО и постоянные времени

При отсутствии шума в адаптивном процессе методы Ньютона и наискорейшего спуска, а также другие адаптивные методы приводят к установившемуся вектору весовых коэффициентов, соответствующему минимальному значению рабочей функции. В этом случае ковариационная матрица вектора V равна нулю и, следовательно, значение СКО равно

Однако наличие шума в адаптивном процессе приводит к тому, что установившийся вектор весовых коэффициентов отличается некоторым случайным образом от вектора, соответствующего минимуму рабочей функции, т. е. соответствует большему значению рабочей функции. В результате появляется некоторое среднее значение СКО, установившееся значение которой превышает

В гл. 2 показано, что для заданного вектора весовых коэффициентов W СКО равна ее математическому ожиданию. Если вектор весовых коэффициентов не задан, то мгновенное значение СКО на итерации есть значение СКО при (см., например, равенства (4.17), (4.54) и т. д.). Для вывода выражения для среднего значения необходимо провести дальнейшее вычисление среднего значения по произвольно большому числу итераций. Как и в предыдущем разделе, предположим, что вектор весовых коэффициентов искажен шумом и изменяется случайным образом, и оценим, как это в целом влияет на значение Используя соотношение между и V (4.53), находим

(5.59)

где усреднение осуществляется по номеру итерации k. Такое определение справедливо только тогда, когда вектор как функция индекса k, является стационарным случайным процессом, т. е. когда вектор шума , а также вектор входного сигнала и полезный отклик являются стационарными случайными процессами. Таким образом, данное определение справедливо только в установившемся состоянии, т. е. после того, как переходные процессы, связанные с адаптацией, завершены.

Физический смысл введенных определении поясняется на рис. 5.3. Случайные отклонения весового коэффициента от оптимального значения приводят к увеличению СКО. Среднее значение приращений, вызванных таким увеличением, есть среднее значение СКО. Отметим, что здесь отклонение СКО не включает рассмотренную выше ошибку измерения, которая обусловлена специально вносимыми отклонениями весового коэффициента.

Рис. 5.3. Иллюстрация смысла отклонения СКО

Выражение (5.59) для среднего значения СКО аналогично выражению (5.48) для ковариационной матрицы вектора . Для получения результата, аналогичного соотношениям (5.57) и (5.58), необходимо в (5.59) подставить выражение для вектора V, поэтому снова требуется провести вывод отдельно для каждого из методов — Ньютона и наискорейшего спуска.

Поскольку в предыдущих рассуждениях результаты получены для вектора VV а не для преобразуем сначала (5.59), ттодставляя . Тогда исходное выражение принимает вид

Для метода Ньютона подставим в (5.60) выражение (5.42) для вектора Для упрощения (5.60) воспользуемся знаменателем геометрической прогрессии :

Далее подстановка формулы (5.42) в (5.60) дает

Ранее сделано предположение, что вектор шума N, который складывается из независимых ошибок измерения сигнала ошибки, принимает независимые значения при переходе от одной итерации к другой. Поэтому в (5.62) все слагаемые с должны стремиться к нулю и, следовательно,

Кроме того, поскольку шум градиента представляет собой стационарный случайный процесс, математическое ожидание в (5.63) вычисляется по всем индексам вектора N. Таким образом,

Здесь предполагалось также, что процесс является устойчивым, и знаменатель . В этом случае

где — компонент вектора

Подставляя этот результат в (5.64), получаем

Но математическое ожидание — диагональный элемент ковариационной матрицы вектора N, и в соответствии с (5.53) оно равно Поэтому (5.66) принимает вид

Снова полагая для метода Ньютона получаем общее выражение

По практическим соображениям этот результат удобно выразить через постоянные времени адаптивного процесса. Для определения числа постоянных времени, соответствующих заданному значению знаменателя геометрической прогрессии , построим на основе геометрической последовательности отсчетов экспоненциальную огибающую, как показано на рис. 5.4. Пусть теперь эта огибающая описывается функцией , где t — время, а — постоянная времени. Если одна единица временн соответствует одной итерации, то

что при разложении в ряд дает

Поскольку для большинства приложений постоянная времени выбирается большой (не менее 10), а знаменатель — малым (не более 1), то имеет место следующее приближенное соотношение:

(5.71)

Рис. 5.4. Аппроксимация геометрической последовательности значений весовых коэффициентов экспоненциальной кривой

Кроме того, из соотношения для метода Ньютона

поэтому (5.68) принимает вид

Для дальнейшего упрощения равенства (5.73) выразим сумму через среднее

а также подставим выражение (5.16) для относительного приращения, т. е. среднего увеличения СКО, нормированного относительно величины . С учетом этих подстановок выражение (5.73) принимает вид

Аналогично найдем среднее значение СКО для метода наискорейшего спуска. В этом случе вместо (5.42) подставим в (5.60) формулу (5.47). Имея в виду, что А — диагональная матрица, получаем

(5.76)

Так же, как в (5.62), члены с стремятся к нулю, и снова, как и в (5.63), полагаем, что вектор N — стационарный случайный процесс, поэтому (5.76) принимает вид

где усреднение производится, как и выше, по индексу k. Теперь, поскольку матрицы под знаком суммы являются диагональными, можно найти, что каждый элемент суммы является членом степенного ряда. Следовательно, можно записать

(Более подробный вывод рассматривается в упражнении 20).

Подстановка в (5.77) формулы (5.78) и результатов, полученных в упражнении 18 к гл. 2, дает

Полученный здесь результат аналогичен соотношению (5.64), если вместо подставить а вместо подставить При таких же подстановках в (5.67) выражение (5.79) принимает вид

где как и выше, относительное приращение, возникающее при измерении градиента и равное .

В предшествующем анализе для метода Ньютона отмечалось, что среднее значение СКО удобно выражать через постоянную времени, и была определена постоянная времени , соответствующая процессу сходимости вектора весовых коэффициентов к оптимальному. Определим теперь две другие постоянные времени, полезные для описания эффективности и скорости сходимости адаптивного процесса, а именно, постоянную времени обучающей кривой, которую обозначим через тско, и постоянную времени, которую за неимением более подходящего термина назовем постоянной времени адаптации и обозначим через . Как будет показано, обе эти постоянные с точностью до множителя равны постоянной времени сходимости вектора весовых коэффициентов .

Постоянная времени связана соотношением (5.71) со знаменателем геометрической прогрессии весовых коэффициентов . С другой стороны, для знаменателя геометрической прогрессии обучающей кривой [из (4.19)] следует, что

На основании (5.69) получаем соответствующую постоянную времени тско:

Откуда

Эту постоянную времени используют для описания времени обучения адаптивных систем.

Основной единицей постоянной времени тско является число итераций. С другой стороны, основная единица постоянной времени адаптации — отсчет данных.

Поскольку для измерения каждого компонента вектора градиента требуется, как показано на рис. 5.2, 2N отсчетов, на каждой итерации нужно иметь отсчетов. Таким образом, постоянная времени адаптации

При известной скорости следования отсчетов легко связать эту постоянную времени с реальным временем.

Для метода наискорейшего спуска показано, что знаменатель геометрической прогрессии

На основании (5.71) можно найти соотношение между знаменателем геометрической прогрессии и постоянной времени сходимости вектора весового коэффициента:

(5.85)

Сравнивая (5.84) и (5.85), получаем

По аналогии с (5.82) определим постоянную времени обучающей кривой в виде

Кроме того, подставляя (5.87) в (5.83), аналогично определяем

На основании (5.88) имеем

Усредняя обе части этого равенства по , получаем

Теперь, подставив этот результат и (5.86) в (5.80), можно найти среднее значение СКО для метода наискорейшего спуска:

Ранее предполагалось, что установившийся вектор весовых коэффициентов близок к оптимальному (соответствует значению рабочей функции, близкому к минимальному). В соответствии с этим при малом значении и больших значениях адаптивный процесс обладает медленной сходимостью. Следовательно, можно записать

При этом приближении еще более упрощается выражение (5.91):

В заключение этого раздела выпишем приближенные соотношения для установившегося среднего значения СКО:

где - число весовых коэффициентов; — минимальное значение СКО; N — число наблюдений сигнала ошибки наблюдений для каждой оценки градиента); Р — относительное приращение (нормированное приращение величины возникающее при оценке градиента) [см. соотношения (5.9) — (5.16)]; — постоянная времени процесса коррекции весового коэффициента (см. рис. 5.4); Тско — постоянная времени адаптации [см. соотношения (5.83) - (5.90)]; К — собственное значение корреляционной матрицы входного сигнала.