Раздел 7. РЕКУРРЕНТНЫЕ СЕТИ КАК АССОЦИАТИВНЫЕ ЗАПОМИНАЮЩИЕ УСТРОЙСТВА

7.1. Введение

Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя во входной слой.

Главная особенность, выделяющая эти сети среди других нейронных сетей, динамические зависимости на каждом этапе функционирования. Изменение состояния одного нейрона отражается на всей сети вследствие обратной связи типа “один ко многим”. В сети возникает некоторый переходный процесс, который завершается формированием нового устойчивого состояния, отличающегося в общем случае от предыдущего. Если, как и прежде, функцию активации нейрона обозначить где и — это взвешенная сумма его возбуждений, то состояние нейрона можно определить выходным сигналом Принимая во внимание, что при обратной связи типа “один ко многим” роль возбуждающих импульсов для нейрона играют выходные сигналы других нейронов, изменение его состояния может быть описано системой дифференциальных нелинейных уравнений [46, 51]

для где представляет собой пороговое значение, заданное внешним источником (в однонаправленных сетях это показатель поляризации). Коэффициент является численной константой, а его интерпретация аналогична постоянной времени в уравнениях, описывающих динамические состояния. Состояние нейрона рассчитывается в результате решения дифференциального уравнения (7.1) как При определенном уровне возбуждения нейронов, описываемом значениями их выходных

сигналов рекуррентной сети можно сопоставить энергетическую функцию Ляпунова [46, 51, 54]

Она связана с каждым возбужденным состоянием сети и имеет тенденцию убывания с течением времени. Изменение состояния какого-либо яейрона инициализирует изменение энергетического состояния всей сети в яаправлении минимума ее энергии вплоть до его достижения. Обычно существует множество локальных минимумов, каждый из которых представляет одно из состояний системы, сформированных на этапе обучения сети. В пространстве состояний локальные энергетические минимумы Е представлены точками стабильности, называемыми аттракторами из-за тяготения к ним ближайшего окружения.

В настоящем разделе будут рассмотрены только отдельные избранные классы сетей, функционирующих в качестве ассоциативных запоминающих устройств. Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об ассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора можно говорить о памяти гетероассоциативного типа. Типичным представителем первого класса является сеть Хопфилда, а второго - сеть Хемминга и сеть типа ВАМ (англ.: Bidirectional Associative Memory - двунаправленная ассоциативная память).

Главная задача ассоциативной памяти сводится к запоминанию входных (обучающих) выборок таким образом, чтобы при представлении новой выборки система смогла сгенерировать ответ — какая из запомненных ранее выборок наиболее близка к вновь поступившему образу. Наиболее часто в качестве меры близости отдельных множеств применяется мера Хемминга.

При использовании двоичных значений расстояние Хемминга между двумя векторами определяется в виде [46]

При биполярных значениях элементов обоих векторов расстояние Хемминга рассчитывается по формуле

Мера Хемминга равна нулю только тогда, когда . В противном случае она равна количеству битов, на которое различаются оба вектора.