2.5. Двунаправленная ассоциативная память

Как и сети Хопфилда и Хэмминга, двунаправленная ассоциативная память (ДАП) или, иначе, нейронная сеть Коско (В. Коsko), способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Однако в отличие от этих типов нейронных сетей, ДАП решает задачи гетероассоциативной памяти, т. е. входной образ может быть ассоциирован с другим, не коррелирующим с ним образом. Реализуется это вследствие того, что выходной вектор формируется на другом наборе нейронов, нежели соответствующий ему входной.

На рис. 2.10 рассмотрена базовая структура двунаправленной ассоциативной памяти, состоящая из входного, скрытого и

Рис. 2.10. Структура двунаправленной ассоциативной памяти

выходного слоев нейронов. Нейроны скрытого и выходного слоев выполняют функцию взвешенного суммирования входов с сигмоидальной (логистической) активационной функцией . В упрощенном виде в качестве активационной выбирают пороговую функцию.

До начала функционирования нейронная сеть обучается с использованием набора пар векторов X и Y путем вычисления значений весовых коэффициентов и реализующих отношения ассоциаций. При этом весовая матрица вычисляется как сумма произведений всех пар векторов из обучающей выборки:

При решении задачи восстановления запомненных ассоциаций вектор X или его часть кратковременно устанавливается выходах нейронов скрытого слоя. Вектор X обрабатывается матрицей весовых коэффициентов нейронов выходного слоя. Затем вектор X удаляется, и сеть вырабатывает ассоциированный вектор

у на выходе нейронов выходного слоя, поступающий на входы нейронов входного слоя и обрабатывающийся транспонированной матрицей весов нейронов скрытого слоя.

При этом в каждом цикле происходит уточнение выходного вектора. Процесс повторяется до достижения устойчивого состояния сети, при котором вектор X и Y не изменяются.

Двунаправленная ассоциативная память функционирует в направлении минимизации энергии сети (функции Ляпунова) в соответствии со значениями весов. Устойчивость двунаправленной ассоциативной памяти гарантируется транспонированием матрицы весовых коэффициентов.

Проводя аналогию с биологическими системами, можно отметить, что значения весовых коэффициентов и образуют долговременную память, а состояние нейронов - кратковременную память. Весовые коэффициенты могут изменяться на более длительном интервале времени на основе представленных далее методов с целью вывода сети из локального и достижения глобального оптимума для первоначально установленного вектора X.

Двунаправленная ассоциативная память сводится к сети Хопфилда, если матрица весовых коэффициентов является квадратной и симметричной, т. е.

Двунаправленная ассоциативная память имеет ограничения на максимальное количество хранимых ассоциаций, при превышении которого сеть может выработать неверный выходной сигнал, воспроизводя ассоциации, которым не обучена.

Для безошибочной работы бинарной ДАП число запоминаемых векторов не должно превышать

Известны оценки, в соответствии с которыми ДАП может иметь до стабильных состояний, если для каждого нейрона выбирается свое ненулевое пороговое значение Такая сеть, названная негомогенной двунаправленной ассоциативной памятью, является расширением гомогенной ДАП, в которой все пороги нулевые. В этом случае выход нейрона принимает следующий вид:

где - выход нейрона в момент времени

Однако выбор этих состояний определяется жесткой процедурой. Если выбрано состояний случайным образом, причем и если каждый вектор имеет компонентов, равных «1», (остальные компоненты равны то можно сформировать негомогенную ДАП, хранящую этих векторов в качестве стабильных состояний.

Разработано много разновидностей двунаправленной ассоциативной памяти, основными из которых являются: непрерывная ДАП (с сигмоидами в качестве функций активации нейронов), адаптивная ДАП (с изменением весов в процессе функционирования сети), конкурирующая ДАП (с конкуренцией нейронов внутри каждого слоя).

Основными достоинствами двунаправленной ассоциативной памяти являются следующие:

• структурная простота сети, позволяющая реализовать ее в виде СБИС и УБИС;

• совместимость с аналоговыми схемами и оптическими системами;

• быстрая сходимость процесса обучения и восстановления информации.