Сравнение методов Ньютона и наискорейшего спуска

Для заданных значений относительного приращения и числа весовых коэффициентов как метод Ньютона, так и метод наискорейшего спуска приводят к увеличению относительного среднего значения ошибки при росте скорости адаптации (т. е. при уменьшении постоянной времени адаптации). Однако при одной и той же скорости адаптации оба метода не обязательно имеют одинаковое значение М. При разных условиях лучшим является тот алгоритм, который обеспечивает большую скорость адаптации при заданном уровне относительного среднего значения СКО или меньшее его значение при заданной скорости адаптации.

Для сравнения обоих методов с точки зрения скорости адаптации и относительного среднего значения СКО необходимо сначала представить (5.99) в более удобном виде. Процесс адаптации методом наискорейшего спуска характеризуется многими постоянными времени, и поэтому скорость адаптации определяется самой медленной составляющей. Обозначим через постоянную времени такой составляющей. Тогда из (5.88)

(5.100)

Кроме того, из соотношения (5.88) можно получить усредненное собственное значение выраженное через постоянные времени адаптации:

Сравнивая этот результат с (5.100), имеем

Следовательно, выражение (5.99) для метода наискорейшего спуска можно переписать в виде

Если теперь положить, что в (5.103) равно Тско в (5.98), a L и Р одинаковы в обоих выражениях, то формулы для методов Ньютона и наискорейшего спуска отличаются лишь тем, что в первом случае есть сомножитель а во втором — сомножитель Таким образом, в общем случае для метода Ньютона относительное среднее значение СКО меньше, поскольку

(5.104)

Рассмотрим следующий конкретный случай. Если собственные значения находятся в пределах от 1 до 10, то . Поэтому относительное среднее значение СКО для метода наискорейшего спуска примерно в 3 раза больше, чем для метода Ньютона.

В некоторых случаях при большем количестве собственных значений можно считать, что они равномерно распределены в интервале от до . Тогда среднее значение

(5.105)

Если положить, что то и, следовательно, относительное среднее значение СКО для метода наискорейшего спуска примерно в 4 раза больше, чем для метода Ньютона. Аналогично этому при это различие составляет 20 раз.