2.6. Сети адаптивной резонансной теории

Феномен памяти человека исследован явно недостаточно. Среди классов памяти (генетической, врожденной и прижизненной), наибольший интерес для специалистов в области искусственных нейронных сетей представляет исследование прижизненной памяти, обеспечивающей возможность приспособления организма к окружающей среде путем накопления информации в процессе обучения, функционирования, самоорганизации. Один из самых интересных вопросов заключается в следующем: каким образом память сохраняет пластичность, т. е. способность к восприятию новых образов, оставаясь при этом устойчивой к разрушению ранее запомненных образов. И что является стимулом для запоминания новой информации.

Решение проблемы стабильности-пластичности для различных парадигм нейронных сетей решается по-разному. Так, в случае фиксированного набора обучающих векторов они могут предъявляться циклически, нейтрализуя необратимый характер модификаций весов в результате обучения новому образу. Для сетей с обратным распространением при существенном изменении весов

зачастую требуется полное переобучение. Кроме того, на практике сети может быть никогда не предъявлен один и тот же обучающий вектор дважды. Поэтому сеть будет непрерывно изменять веса, характеризуясь временной нестабильностью.

Для решения задач векторной классификации Карпентером и Гроссбергом предложен класс нейронных сетей, реализующих модели адаптивной резонансной теории (APT) (ART-1, ART-2 и ARTMAP), сохраняющих пластичность для запоминания новых образов и, в то же время, предотвращающих изменение ранее запомненных образов.

Для иллюстрации основных положений адаптивной резонансной теории рассмотрим далее сеть APT (ART-1) для классификации двоичных векторов, заметив, что такая нейронная сеть может классифицировать также и непрерывные векторы (ART-2).

На рис. 2.11 показана структура сети APT, состоящая из блока сравнения, блока распознавания, схемы определения сходства векторов, а также из двух вспомогательных схем ИЛИ 1 и ИЛИ 2.

Нейроны слоя сравнения блока сравнения осуществляют функцию мажоритарного срабатывания по правилу «2 из 3» (выход нейрона равен единице только в том случае, если, как минимум, два из трех его входов равны единице).

В блоке распознавания осуществляется классификация входных векторов. Слой нейронов распознавания этого блока состоит из нейронов с весовыми векторами взаимодействующих по латерально-тормозящей схеме: в каждый момент времени возбуждается только один нейрон с наибольшим уровнем активации. Это правило («победитель забирает все») реализуется за счет введения связей с отрицательными весами с выхода нейрона на входы остальных нейронов слоя. Для простоты на рисунке не показаны латерально-тормозящие связи. Кроме того, каждый нейрон имеет положительную обратную связь с выхода на собственный вход, усиливающую и поддерживающую единичный выходной уровень. Число нейронов этого слоя соответствует числу запомненных образов К (категорий классификации).

Схема определения сходства векторов определяет степень сходства между векторами X и Y. В случае если степень отличия в соответствии с выбранным критерием сходства превышает некоторый заданный порог, этой схемой вырабатывается сигнал сброса возбужденного нейрона в слое распознавания.

Рассмотрим основные этапы функционирования сети APT.

Инициализация. До начала обучения случайным образом устанавливаются значения весовых векторов нейронов слоя распознавания. Они должны удовлетворять следующему условию:

Рис. 2.11. Структура нейронной сети, реализующей адаптивную резонансную теорию

где - число компонентов входного вектора (число нейронов слоя сравнения); Р - число нейронов слоя распознавания; Н - константа со значением в диапазоне от 1 до 2.

Такая установка этих весов гарантирует, что несвязанные нейроны не будут возбуждены более, нежели обученные нейроны в слое распознавания.

Значения всех компонентов весовых векторов устанавливаются равными единице.

Значение параметра сходства устанавливается в диапазоне от 0 до 1 в зависимости от заданной степени сходства входного и запомненных образов.

Обучение. Процесс обучения АРТ-сетей является обучением без учителя. Различают два вида обучения АРТ-сетей: медленное и быстрое. При медленном обучении входной вектор предъявляется на вход сети кратковременно, и весовые коэффициенты не достигают своих асимптотических значений в результате одного предъявления. В этом случае значения весов определяются статистическими характеристиками всех входных векторов, а не характеристиками отдельного входного вектора. Динамика процесса медленного обучения описывается дифференциальными уравнениями.

В случае рассматриваемого ниже быстрого обучения входной вектор устанавливается на входе сети на достаточно длительный интервал времени, что позволяет весовым коэффициентам приблизиться к своим окончательным значениям. Процесс быстрого обучения описывается алгебраическими уравнениями. Другим отличием быстрого обучения от медленного является то, что компоненты весовых коэффициентов принимают бинарные значения, в отличие от непрерывного диапазона значений.

В ходе обучения входные векторы последовательно подаются на входы сети, и весовые векторы IV изменяются таким образом, чтобы сходные векторы активизировали соответствующие нейроны слоя распознавания. Веса вычисляются по следующему правилу:

где компонент вектора У; к - номер возбудившегося нейрона в слое распознавания.

Компоненты вектора весов V, связанные с новым запоминаемым образом, изменяются таким образом, что для всех

Распознавание. В исходном положении на выходе схемы ИЛИ 2 установлен уровень нуля, обнуляющий выходы всех нейронов распознающего слоя.

Затем на вход сети подается ненулевой вектор X, устанавливающий уровень единицы на выходе схемы ИЛИ 2. Таким образом, обеспечивается прохождение входного вектора X на выходы нейронов слоя сравнения без изменений, т. е.

Далее для каждого нейрона слоя распознавания вычисляется свертка его весового вектора с вектором У. Выход нейрона с максимальным значением свертки, т. е. наиболее «близкого» к входному вектору, переходит в активное (единичное)

состояние, т. е. «резонирует», тормозя остальные нейроны этого слоя, которые установятся в нуль.

Сравнение. Единица с выхода возбужденного нейрона распознающего слоя подается на каждый нейрон в слое сравнения со своим весом, устанавливая на входах нейронов слоя сравнения уровень либо нуля, либо единицы.

Обратная связь от ненулевого вектора устанавливает выход схемы ИЛИ 1 в нуль. И теперь в слое сравнения могут возбудиться лишь те нейроны, на входах которых соответствующие компоненты х, и одновременно равны единице.

Другими словами, целью обратной связи от нейронов слоя распознавания является установка компонентов выходного вектора У в нуль в случае, если входной вектор X не соответствует хранимому образу, т. е. если векторы X и Z не имеют совпадающих компонентов.

Процедура определения сходства, осуществляемая схемой определения сходства векторов, заключается в определении отношения числа единиц в векторах Y и X, где вектор Y на этапе распознавания представляет собой логическое произведение входного вектора X и вектора который равен весовому вектору выигравшего нейрона.

При существенном отличии векторов X и Z выходной вектор Y будет содержать много нулей в компонентах, где вектор X содержит единицы. Это означает, что установленный вектор Z не является искомым, и возбужденный нейрон в слое распознавания должен быть заторможен схемой определения сходства векторов. Процедура торможения заключается в установке в нуль выхода возбужденного нейрона в процессе текущей классификации.

Поиск. В случае совпадения или удовлетворения условий близости векторов X и Y процесс классификации завершается. Признаком этого является отсутствие на выходе схемы определения сходства векторов сигнала торможения (сброса) возбужденного в текущем цикле классификации нейрона слоя распознавания. В противном случае осуществляется поиск среди других запомненных образов для определения наиболее близкого к входному. При торможении возбужденного нейрона вектор обнуляется, на выходе схемы ИЛИ 1 устанавливается уровень единицы, и вновь подготавливается прохождение входного вектора X на выходы нейронов слоя сравнения без изменений . В результате этой установки в слое распознавания возбуждается другой нейрон, и другой запомненный образ Z поступает на нейроны слоя сравнения. В случае несоответствия Z и X, возбужденный нейрон в слое распознавания опять тормозится.

Процесс повторяется до тех пор, пока не будет найден запомненный образ, степень близости с которым у вектора X не меньше заданной. В этом случае осуществляется цикл дополнительного обучения с целью модификации весовых векторов возбужденного нейрона слоя распознавания:

Если определено, что ни один из запомненных векторов не соответствует входному, то вводится новый нейрон в распознающем слое и его весовые векторы устанавливаются в соответствии с новым входным вектором. Так как изначально все веса этого нейрона установлены в единичное значение, то выработанный в слое сравнения вектор Y будет идентичен входному вектору X, и отношение будет равно единице, удовлетворяя заданной степени сходства.

С целью ускорения процесса поиска вычисление сверток входного вектора с весовыми векторами и определение сходства с запомненными образами может быть осуществлено параллельно.

Характеристики АРТ-сетей:

• быстрый доступ к предварительно запомненным образам, обусловленный тем, что после стабилизации процесса обучения предъявление одного из обучающих векторов (или вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска;

• устойчивость процесса поиска, так как после возбуждения одного нейрона не будет возбуждений других нейронов в распознающем слое без сигнала с выхода схемы определения сходства векторов;

• конечность процесса обучения, обусловленная стабильным набором весов; повторяющиеся последовательности обучающих векторов не будут приводить к циклическому изменению весов.

В заключение отметим, что АРТ-сети организованы по принципу подобия с биологическими прототипами, а процессы, происходящие в них, подобно механизмам мозга, позволяют решить проблему стабильности-пластичности.

Недостатком АРТ-сетей является недостаточная надежность сохранения информации. Так, в случае «потери» одного образа разрушается вся память.