Раздел 8. РЕКУРРЕНТНЫЕ СЕТИ НА БАЗЕ ПЕРСЕПТРОНА

8.1. Введение

Рекуррентные сети, рассматриваемые в настоящем разделе, представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Обратная связь может исходить либо из выходного, либо из скрытого слоя нейронов. В каждом контуре такой связи присутствует элемент единичной задержки, благодаря которому поток сигналов может считаться однонаправленным (выходной сигнал предыдущего временного цикла рассматривается как априори заданный, который просто увеличивает размерность входного вектора х сети). Представленная подобным образом рекуррентная сеть с учетом способа формирования выходного сигнала функционирует как однонаправленная персептронная сеть. Тем не менее алгоритм обучения такой сети, адаптирующий значения синаптических весов, является более сложным вследствие зависимости сигналов в момент времени от их значений в предыдущие моменты и соответственно ввиду более громоздкой формулы для расчета вектора градиента.

При обсуждении рекуррентных сетей, в которых в качестве выходного элемента используется многослойный персептрон, мы обсудим наиболее известные структуры сетей и разработанные для них алгоритмы обучения. В этом разделе мы ограничимся сетями RMLP, RTRN Вильямса-Зипсера и сетью Эльмана. Будут рассмотрены примеры реализации таких сетей и результаты численного моделирования при решении конкретных тестовых задач.