8.2.3. Подбор коэффициента обучения

При обучении нейронной сети по методу обратного распространения ошибок решающее влияние на скорость обучения и на получаемые конечные результаты оказывает коэффициент обучения Значение этого коэффициента в процессе обучения может оставаться постоянным либо подбираться адаптивным способом. Сохранение постоянного значения коэффициента обучения считается самой простой формой определения Такой способ имеет много недостатков, в том числе медленную сходимость, высокую вероятность расходимости процесса при слишком большом значении легкость попадания в точки локальных минимумов. Тем не менее до настоящего времени он остается наиболее простых и эффективным методом, используемым при обучении в режиме “онлайн”. Адаптивный подбор коэффициента позволяет контролировать погрешности обучения, в результате чего проводится увеличение или уменьшение его значения. Для ускорения процесса обучения предусматривается непрерывное возрастание коэффициента , если уровень фактической погрешности по сравнению с погрешностью предыдущей итерации находится в допустимых пределах. Если обозначить и погрешности адаптации на шаге, и — соответствующие им коэффициенты обучения, то в случае - коэффициент допустимого прироста погрешности) производится уменьшение значения по формуле

где является коэффициентом уменьшения значения . В противном случае, когда значение этого коэффициента увеличивается по формуле

где является коэффициентом увеличения значения