3.4.2. Алгоритм наискорейшего спуска

Если при разложении целевой функции в ряд Тейлора ограничиться ее линейным приближением, то мы получим алгоритм наискорейшего спуска. Для выполнения соотношения достаточно подобрать Условию уменьшения значения целевой функции отвечает выбор вектора направления

Именно выражением (3.30) определяется вектор направления в методе наискорейшего спуска.

Ограничение слагаемым первого порядка при разложении функции в ряд Тейлора не позволяет использовать информацию о ее кривизне. Это обусловливает медленную сходимость метода (она остается линейной). Указанный недостаток, а также резкое замедление минимизации в ближайшей окрестности точки оптимального решения, когда градиент принимает очень малые значения, делают алгоритм наискорейшего спуска низкоэффективным. Тем не менее с учетом его простоты, невысоких требований к объему памяти и относительно небольшой вычислительной сложности именно этот метод в течение многих лет был и остается в настоящее время основным способом обучения многослойных сетей. Повысить его эффективность удается путем модификации (как правило, эвристической) выражения, определяющего направление. Хорошие результаты приносит применение метода обучения с так называемым моментом. При этом подходе уточнение весов сети производится с учетом модифицированной формулы определения значения

где а - это коэффициент момента, принимающий значения в интервале [0, 1]. Первое слагаемое этого выражения соответствует обычному обучению по методу наискорейшего спуска, тогда как второе учитывает последнее изменение весов и не зависит от фактического значения градиента. Чем больше значение коэффициента а, тем большее значение оказывает показатель момента на подбор весов. Это влияние существенно возрастает на плоских участках целевой функции, а также вблизи локального минимума, где значение градиента близко к нулю.

На плоских участках целевой функции приращение весов (при постоянном значении коэффициента обучения остается приблизительно одним и

тем же. Это означает, что аЛи», поэтому эффективное приращение значений весов можно описать отношением

При значении это соответствует -кратному увеличению эффективного значения коэффициента обучения и, следовательно, также -кратному ускорению процесса обучения.

Вблизи локального минимума показатель момента, не связанный с градиентом, может вызвать слишком большое изменение весов, приводящее к увеличению значения целевой функции и к выходу из “зоны притяжения” этого минимума. При малых значениях градиента показатель момента начинает доминировать в выражении (3.31), что приводит к такому приращению весов которое соответствует увеличению значения целевой функции, позволяющему выйти из зоны локального минимума. Однако показатель момента не должен полностью доминировать на протяжении всего процесса обучения, поскольку это привело бы к нестабильности алгоритма. Для предотвращения такого избыточного доминирования значение целевой функции Е контролируется так, чтобы допускать его увеличение только в ограниченных пределах, например не более 4%. При таком подходе, если на очередных шагах итерации выполняется условие то изменения игнорируются и считается, что При этом показатель градиента начинает доминировать над показателем момента и процесс развивается в направлении минимизации, заданном вектором градиента. Следует подчеркнуть, что подбор величины коэффициента момента является непростым делом и требует проведения большого количества экспериментов, имеющих целью выбрать такое значение, которое наилучшим образом отражало бы специфику решаемой проблемы.