8.2.4. Коэффициент усиления сигнала

Применение выходных нейронов с сигмоидальной функцией активации дает возможность минимизировать структуру рекуррентной нейронной сети. В сети RMLP стандартной структуры, описываемой в большинстве литературных источников, как правило, используются выходные нейроны с линейной функцией активации, что облегчает приведение сигнала к любому числовому диапазону. Опубликованные последнее время работы наводят на мысль о возможности их замены сигмоидальными нейронами, позволяющими значительно сократить

размерность сети. Так, для сети, предложенной Нарендрой и содержащей линейные выходные нейроны, необходимо большое количество скрытых нейронов, например Тот же эффект может быть достигнут в сети с сигмоидальным выходным нейроном и всего двумя скрытыми нейронами. Однако следует учитывать, что значения сигнала сигмоидального нейрона ограничены интервалом от -1 до Чтобы обеспечить любой требуемый диапазон значений, на выходе сети добавляется линейный блок, усиливающий сигнал в М раз При грамотном подборе коэффициента усиления М подобная сеть демонстрирует такие же хорошие возможности адаптации при значительно меньшем количестве скрытых нейронов.