Относительное среднее значение СКО

Среднее значение СКО есть усредненное приращение среднеквадратической ошибки относительно минимальной. Эти величина позволяет измерить усредненную во времени разность между действительной и оптимальной характеристиками адаптивного процесса. Еще одной мерой такой разности, особенно полезной при разработке адаптивных процессов, является относительное среднее значение СКО М, которое определим как отношение среднего значения СКО к ее минимальному значению:

Относительное среднее значение СКО представляет собой безразмерную величину, отражающую различие между действительным и оптимальным винеровским адаптивным процессами, возникающее из-за шума оценки градиента. Другими словами, это некоторая мера адаптивных свойств системы. Отметим, что в выражение для М не входит относительное приращение Р, возникающее из-за специально вносимых отклонений весовых коэффициентов, а не из-за шума.

Для метода Ньютона из (5.94) имеем

Однако более удобным является вытекающее из (5.94) выражение

Уравнение (5.98) позволяет легко оценить характеристики адаптивной системы, основанной на методе Ньютона. Как видно, по мере роста относительного приращения и постоянной времени относительное среднее значение СКО уменьшается. При большем значении Р возможно более точное измерение градиента, а при большей Тско для поиска оптимального вектора весовых коэффициентов можно получить усреднение по большему количеству данных. Видно также, что относительное среднее значение СКО растет как квадрат числа весовых коэффициентов, поэтому незначительное улучшение адаптивных свойств достигается при существенном усложнении системы. Можно отметить, что собственные значения оказывают заметное влияние на относительное среднее значение СКО только тогда, когда они сильно отличаются друг от друга. Влияние параметров рассмотрено ниже.

Из (5.94) следует, что для метода Ньютона среднее значение СКО остается неизменным при одновременном увеличении вдвое постоянной времени и уменьшении вдвое числа N. Увеличения вдвое постоянной времени можно достичь уменьшением в 2 раза параметра , а число N можно уменьшить, если на одной итерации брать меньше отсчетов сигнала ошибки. Ясно, что система с малым размером шага и малым количеством данных на одном шаге эквивалентна системе с большим размером шага и большим количеством данных на одном шаге. Как следует из (5.98), важным показателем является количество данных, которые обрабатываются за период, равный постоянной времени адаптации.

Алгоритм, основанный на рассмотренном в этом и предшествующих разделах методе Ньютона, можно сделать до некоторой степени более эффективным, если изменить процесс измерения градиента, показанный на рис. 5.1 и 5.2. Изменение процесса состоит в том, что величина g измеряется при номинальном векторе находится разность между этим обычным измерением и другими измерениями величины и одновременно изменяется один весовой коэффициент на величину . Количество данных, приходящееся на одну оценку вектора градиента, изменяется в раз. Однако провести анализ этого процесса сложно из-за того, что компоненты вектора шухма являются коррелированными.

Но в любом случае относительное среднее значение СКО растет как квадрат числа весовых коэффициентов.

При подстановке (5.95) в (5.96) получаем выражение для метода наискорейшего спуска:

Это выражение эквивалентно выражению (5.98) для метода Ньютона, имеющему сомножитель которого нет в (5.99). Кроме того, в (5.98) есть сомножитель , а в (5.99) — сомножитель . В выражении для метода Ньютона имеется только одна постоянная времени, в то время как для метода наискорейшего спуска в выражение входит до различных значений . Следовательно, если все собственные значения матрицы R равны между собой, то оба выражения будут одинаковыми. При таком условии рабочая функция обладает круговой симметрией, и отрицательный градиент всегда имеет направление на ее минимальное значение. В этом случае методы Ньютона и наискорейшего спуска фактически идентичны.