Сравнение обучающих кривых

Полезно сравнить методы Ньютона и наискорейшего спуска на основе сравнения обучающих кривых. Для вывода формул, описывающих обе обучающие кривые, запишем выражения для квадратичной функции СКО (2.33) или (3.34):

Подставим сюда полученное решение разностного уравнения для метода Ньютона (4.35), преобразованное в соответствии с (3.37):

Это соотношение описывает простую геометрическую прогрессию, знаменатель которой

На рис. 4.9 приведена характерная обучающая кривая для метода Ньютона, отображающая зависимость СКО от числа итераций. Эта кривая — график обычной экспоненциальной функции с единственной постоянной времени.

Рис. 4.9. Обучающая кривая для метода Ньютона, примененного в системе с многомерной квадратичной рабочей функцией (2.24), графики сечений которой приведены на рис. 4.6 при

Аналогично выводится формула обучающей кривой для метода наискорейшего спуска. Для этого случая запишем выражение рабочей функции (4.53), полученное в (3.35) в системе координат, образованной главными осями:

При подстановке в (4.56) решения разностного уравнения (4.42) выражение принимает вид

Здесь матрицы — диагональные, а произведение диагональных матриц коммутативно. Поэтому

Вывод окончательного результата (4.59) составляет задание упражнения 18.

Итак, ясно, что обучающая кривая метода наискорейшего спуска складывается из суммы убывающих геометрических прогрессий со знаменателями вида

Обучающая кривая для метода наискорейшего спуска, примененного в системе с квадратичной рабочей функцией, приведена на рис. 4.10. Эта кривая является суммой экспонент, число которых равно числу весовых коэффициентов.

Сравнение рис. 4.9 и 4.10 показывает, что при одинаковых параметрах и при прочих равных условиях метод Ньютона обладает более быстрой сходимостью, чем метод наискорейшего спуска. В общем случае это действительно так, потому что в методе Ньютона для нахождения прямого пути к минимуму функции ошибки используется информация, содержащаяся в элементах матрицы R. Как показано на рис. 4.7 и 4.8, обычно алгоритм наискорейшего спуска реализует более длинным путь к ошибке

Рис. 4.10. Обучающая кривая для метода паискорейшего спуска, примененного в системе с многомерной квадратичной рабочей функцией (2.24). Графики сечений приведены на рис. 4.7 при

В гл. 8 продолжено исследование сходимости обоих методов.

С другой точки зрения можно считать, что методы Ньютона и наискорсйшего спуска отражают процессы в системе с обратной связью, т. е. являются примерами реализации введенной выше функциональной обратной связи. В дальнейшем будет показано, как можно применить функциональную обратную связь при градиентном поиске минимума квадратичной рабочей функции.