Обучающая кривая

Выражение (4.59) описывает обучающую кривую, т. е. зависимость от числа итераций k для метода наискорейшего спуска.

Эта кривая является теоретической, так как получена в предположении, что на каждой итерации точно известен градиент, Оказывается, что теоретическая обучающая кривая затухает в соответствии с L+1 знаменателями геометрических прогрессий вида

Вследствие этого, а также в соответствии с (5.86) при экспоненциальном приближении n-го элемента вектора весовых коэффициентов к оптимальному значению постоянная времени

Из (5.87) следует, что постоянная времени, соответствующая составляющей обучающей кривой, равна , т. е.

Кроме того, поскольку при использовании метода наименьших квадратов каждую оценку градиента получают на основе одного наблюдения данных, постоянная времени Тско, выраженная через число отсчетов входного сигнала, равна постоянной тско, выраженной через число итераций алгоритма. Поэтому

В некоторых приложениях метода наименьших квадратов, а именно в тех случаях, когда для текущих значений весовых коэффициентов на каждой итерации значение достаточно близко к , формула (6.21) является хорошим приближением постоянной времени обучающей кривой. Однако в общем случае для метода наименьших квадратов формула (6.21) будет неточной, так как значение не является хорошим приближением , а процесс сходимости носит, как показано на рис. 6.3, колебательный характер. В качестве примера рассмотрим приведенный на рис. 6.3 случай, когда собственные значения матрицы R найдены из (3.2) и (6.13) для

Для нижней кривой на рис. 6.3 при из (6.21) имеем

Для сравнения на рис. 6.5 представлена обучающая кривая, построенная для рассматриваемого случая. Здесь значение или находится усреднением по 500 отдельным обучающим кривым. Каждому значению соответствует своя случайная последовательность и свое начальное значение синусоидального сигнала в схеме на рис. 6.2. На рис. 6.5 в логарифмическом масштабе приведены два участка обучающей кривой, соответствующие двум направлениям нижней кривой на рис. 6.3 и двум постоянным времени, определенным по (6.23) и (6.24).

Рис. 6.5. Обучающая кривая, соответствующая нижней кривой на рис. 6.3 при

На первом, более крутом участке кривая за 13 итераций падает на одну декаду. Поскольку декада означает умножение на 10, или на что соответствует также уменьшению постоянных времени в 2,3 раза, первая постоянная (Тско) равна примерно или 6 итерациям. На втором, более пологом участке кривая характеризуется постоянной времени которая по аналогии равна примерно или 115 итерациям. В итоге имеем

Итак, из-за наличия шума при оценке , возникновение которого рассмотрено ранее, экспериментальная постоянная времени несколько больше теоретической. Такой результат характерен для метода наименьших квадратов.