8.4. Сеть RTRN

8.4.1. Структура сети и алгоритм обучения

Среди рекуррентных сетей особого внимания заслуживает сеть типа RTRN (англ.: Real Time Recurrent Network), предложенная Вильямсом и Д. Зипсером в работе [171] и предназначенная для обработки сигналов в реальном времени. Обобщенная структура сети представлена на рис. 8.15. Сеть содержит входных

узлов, К скрытых нейронов и К соответствующих им узлов контекстного стоя. Из К скрытых нейронов только М составляют выход сети. Обозначим взвешенную сумму нейрона скрытого слоя а выход этого нейрона Вектор и смещенный (задержанный) на один цикл вектор образуют расширенный вектор активации возбуждающий нейроны сети:

После описания входного вектора сети в момент можно определить состояние всех нейронов согласно зависимостям:

причем обозначает непрерывную функцию активации нейрона (как правило, сигмоидальную).

Рис. 8.15. Структура сети RTRN

На рис. 8.15 видно, что сеть RTRN представляет собой частный случай сети Эльмана, в которой веса выходного слоя постоянны и равны дельте Кронекера, т.е. для или 0 для . В этом случае можно применять алгоритм обучения Вильямса-Зипсера, представленный в одном из предыдущих подразделов, поскольку обучение сети связано с уточнением весов единственного существующего слоя. При модификации соответствующих формул расчета вектора градиента, выведенных для сети Эльмана (при

фиксации значений весов выходного слоя), получим следующий алгоритм обучения сети RTRN, называемый алгоритмом Вильямса-Зипсера [171].

1. Выбрать случайные начальные значения весов сети, составляющих матрицу и равномерно распределенных в заданном интервале (обычно в диапазоне от -1 до 1).

2. Рассчитать состояние всех К нейронов для очередного момента с использованием зависимостей (8.40) и (8.41). На этой основе можно определить расширенный входной вектор возбуждающий нейроны в момент

3. Рассчитать значения в соответствии с формулой

4. Уточнить значения весов по алгоритму наискорейшего спуска согласно формуле

для Циклы (2 - 4) повторять вплоть до стабилизации значений всех весов сети.

Приведенный алгоритм обучения сети RTRN был реализован в программе, названной также RTRN. В ней процесс обучения оптимизирован за счет применения адаптивного коэффициента обучения и обучения с учетом момента, аналогично тому, как это делалось в программе Elman.