2.4. Оптимизирующие нейронные сети

2.4.1. Нейронные сети Хопфилда

Нейронная сеть Хопфилда реализует существенное свойство автоассоциативной памяти - восстановление по искаженному (зашумленному) образу ближайшего к нему эталонного В этом случае входной вектор используется как начальное состояние сети, и далее сеть эволюционирует согласно своей динамике Причем любой пример, находящийся в области притяжения хранимого образца, может быть использован как указатель для его восстановления Выходной (восстановленный) образец устанавливается, когда сеть достигает равновесия

Структура сети Хопфилда приведена на рис 2 8 Она состоит из одного слоя нейронов, число которых определяет число входов и выходов сети Выход каждого нейрона соединен с входами всех остальных нейронов Подача входных векторов осуществляется через отдельные входы нейронов

Сети Хопфилда отличаются от ранее рассмотренных типов нейронных сетей следующими существенными признаками

• наличие обратных связей, идущих с выходов сетей на их входы по принципу «со всех на все»,

• расчет весовых коэффициентов нейронов проводится на основе исходной информации лишь перед началом функционирования сети, и все обучение сети сводится именно к этому расчету без обучающих итераций,

• при предъявлении входного вектора, сеть «сходится» к одному из запомненных в сети эталонов, представляющих множество равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети

Проблема устойчивости сети Хопфилда была решена после того, как Кохеном и Гроссбергом была доказана теорема, определяющая достаточное условие устойчивости сетей с обратными связями, а именно, сеть с обратными связями является

Рис. 2.8 Структура нейронной сети Хопфилда

устойчивой, если матрица ее весов симметрична и имеет нули на главной диагонали

Динамическое изменение состояний сети может быть выполнено, по крайней мере, двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно.

Рассмотрим синхронную бинарную сеть Хопфилда, представляющую собой пример сети с дискретными состояниями и дискретным временем, и сформулируем решаемую ею задачу следующим образом.

В качестве нейронов сети рассмотрим нейроны с пороговой функцией активации, выходы которых принимают значение либс «0», либо «1» при превышении взвешенной суммой значений входов некоторого порогового уровня.

Предварительно в сети матрицей весовых коэффициентов задан набор эталонов. Каждый эталон при этом является точкой из конечного множества равновесных точек, характеризующих минимум энергии сети (функции Ляпунова):

где Е - искусственная энергия сети; - вес от выхода ко входу нейрона; - вход и выход нейрона; - порог нейрона.

Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний нейронной сети согласно уравнению она уменьшается и достигает локального минимума (аттрактора), в котором сохраняет постоянную энергию. Это позволяет решать задачи комбинаторной оптимизации, если они могут быть сформулированы как задачи минимизации энергии.

Обозначим вектор, описывающий эталон, через , К - число эталонов.

На вход сети подается произвольный вектор

В результате серии итераций сеть должна выделить эталон, соответствующий входному вектору, или дать заключение о том, что входные данные не соответствуют ни одному из эталонов.

После отдельной итерации общее изменение энергии сети, вызванное изменением состояний всех нейронов, составит:

где - изменение выхода нейрона после итерации.

Анализ этого выражения показывает, что любое изменение состояния нейронов либо уменьшит значение Е, либо оставит его без изменения. Второй случай указывает на достижение сетью устойчивого состояния и выделение ею эталона, наилучшим образом сочетающимся с входным вектором.

При распознании входного вектора (частично представленного или искаженного) выходы сети будут содержать соответствующий эталон, т. е. где - выходной вектор. В противном случае, выходной вектор не совпадет ни с одним эталоном.

Для безошибочной работы сети Хопфилда число запоминаемых эталонов не должно превышать

Кроме того, в случае высокой степени корреляции нескольких эталонов возможно возникновение перекрестных ассоциаций при их предъявлении на входах сети. Требование достаточного (но не необходимого) условия слабой коррелируемости образов можно представить как выполнение следующего неравенства:

или в виде более сильного условия:

Нейронные сети Хопфилда с непрерывными состояниями отличается от вышерассмотренной сети непрерывной активационной функцией нейронов, в качестве которой наиболее часто выбирают сигмоидальную или логистическую функцию. Концептуально вопросы организации и функционирования этих сетей схожи

Недостатком классического варианта сетей Хопфилда является их тенденция к стабилизации в локальных, а не глобальных минимумах сети. Предложены статистические сети Хопфилда в которых этот недостаток преодолевается за счет задания статистических, а не детерминистских правил изменения состояний нейронов.

Для этого для каждого нейрона вводится вероятность изменения его состояния как функция от величины, на которую выход нейрона превышает его порог (для бинарной сети Хопфилда):

где - параметр, изменяемый в процессе стабилизации сети.

Тогда после начального задания весовых коэффициентов нейронов процедура поиска минимума энергии сети для установленного входного вектора выглядит следующим образом.

ШАГ 1. Задать большое значение параметра .

ШАГ 2. Установить на выходе нейрона значение «1» с вероятностью и значение с вероятностью

ШАГ 3. Постепенно уменьшать значение параметра пока не будет достигнуто равновесие.