7.2. Автоассоциативная сеть Хопфилда

7.2.1. Основные зависимости

Одним из наиболее известных типов ассоциативной памяти является сеть Хопфилда. Обобщенная структура этой сети представляется, как правило, в виде системы с непосредственной обратной связью выхода со входом (рис. 7.1). Характерная особенность такой системы состоит в том, что выходные сигналы нейронов являются одновременно входными сигналами сети: при этом возбуждающий вектор особо не выделяется. В классической системе Хопфилда отсутствует связь нейрона с собственным выходом, что соответствует а матрица весов является симметричной:

Рис. 7.1. Обобщенная структура сети Хопфилда

Процесс обучения сети формирует зоны притяжения (аттракции) некоторых точек равновесия, соответствующих обучающим данным. При использовании ассоциативной памяти мы имеем дело с обучающим вектором х либо с множеством этих векторов, которые в результате проводимого обучения определяют расположение конкретных аттракторов (точек притяжения). В последующих рассуждениях в соответствии с рекомендацией Хопфилда будем предполагать, что каждый нейрон имеет функцию активации типа signum со

течениями ±1. Это означает, что выходной сигнал нейрона определяется функцией

где обозначает количество нейронов,

Для упрощения дальнейших рассуждений допустим, что постоянная составляющая (поляризация), определяющая порог срабатывания отдельных нейронов, является компонентом вектора х. Без учета единичных задержек сети, представляющих собой способ синхронизации процесса передачи сигналов, основные зависимости, определяющие сеть Хопфилда, можно представить в виде

с начальным условием . В процессе функционирования сети Хопфилда можно выделить два режима: обучения и классификации. В режиме Лучения на основе известных обучающих выборок х подбираются весовые коэффициенты . В режиме классификации при зафиксированных значениях весов и вводе конкретного начального состояния нейронов возникает переходный процесс, протекающий в соответствии с выражением (7.6) и завершающийся в одном из локальных минимумов, для которого

При вводе только одной обучающей выборки х процесс изменений тродолжается до тех пор, пока зависимость (7.6) не начнет соблюдаться для всех нейронов. Это условие автоматически выполняется в случае выбора значений весов, соответствующих отношению

поскольку только тогда (вследствие биполярных значений элементов вектора х всегда ). Следует отметить, что зависимость представляет введенное ранее правило Хебба.

При вводе большего количества обучающих выборок для веса подбираются согласно обобщенному правилу Хебба, в соответствии с которым

Благодаря такому режиму обучения веса принимают значения, определяемые усреднением множества обучающих выборок.

В случае множества обучающих выборок становится актуальным фактор стабильности ассоциативной памяти. Для стабильного функционирования сети необходимо, чтобы реакция нейрона на обучающую выборку совпадала с ее составляющей Это означает, что с учетом выражения (7.8) мы получаем

Если взвешенную сумму входных сигналов нейрона обозначить то можно выделить в ней ожидаемое значение и остаток, называемый диафонией:

Вследствие применения функции активации типа signum выполнение условия (7.9) возможно тогда, коща значение диафонии настолько мало, что оно не а состоянии изменить знак Это означает, что несмотря на определенное несовпадение битов (значение диафонии не равно нулю), переходный процесс завершается на нужном аттракторе. Ассоциативная память демонстрирует способности к коррекции. При представлении тестовой выборки, отлйчающейа некоторым количеством битов на отдельных позициях вектора, нейронная сеть может откорректировать эти биты и завершить процесс классификации на нужном аттракторе.

Важным параметром ассоциативной памяти считается ее емкость. По; этим термином следует понимать максимальное количество запомненных образов, которые классифицируются с допустимой погрешностью показано, что при использовании для обучения правила Хебба и при выборе значения Стах битов образца отличается от нормально: состояния) максимальная емкость памяти (количество запомненных образцов составит всего лишь около от количества нейронов, образующп ассоциативную память. Это свидетельствует о невысокой продуктивности хеббовского обучающего правила. Именно по этой причине оно применяется редко. В качестве альтернативы используются методы обучения, основанные псевдоинверсии, которые характеризуются гораздо более высокой эффективностью обучения.