Глава 2. ОСНОВНЫЕ КОНЦЕПЦИИ НЕЙРОННЫХ СЕТЕЙ

Кроме рассмотренных выше многослойных нейронных сетей, обучаемых по алгоритму обратного распространения ошибки, известно много разновидностей специфических нейронных сетей, реализующих различные свойства биологических систем и, прежде всего, свойства ассоциативной памяти.

2.1. Ассоциативная память нейронных сетей

В биологических системах, обладающих памятью, изменение нервной активности системы под влиянием внешних раздражителей зависит от воздействия предшествующих событий и от информации, хранящейся в памяти. Процесс запоминания связан с образованием следа (узора, энграммы) в мозговых структурах. Поток нервных импульсов, несущих информацию о запоминаемом объекте, проходит через нейронные сети, возбуждая на своем пути нервные клетки, из которых формируется нейронный след. Проторенный нервный путь обладает меньшим сопротивлением по отношению к другим возможным путям. Повышение производительности возникшего нейронного следа возможно вследствие свойства нейронов достаточно быстро адаптироваться к повторно проходящим нервным импульсам. Механизмы памяти обеспечивают длительное сохранение увеличенной проводимости нейронов, вовлеченных в образованный узор.

Следы памяти, хранящие образы объектов, отражены в сложных параллельно-последовательных нейронных сетях, обладающих большой избыточностью. В организованных случайным образом нейронных сетях следы памяти распределяются по пространству мозга также случайно.

Ситуация еще больше усложняется тем, что одни и те же нейроны участвуют в хранении образов различных запоминаемых

объектов. Это значит, что след, возникающий при запоминании одного объекта информации, может иметь общие звенья нейронной сети со следами от других объектов. Поэтому нельзя определенно указать, в каком участке мозга будет находиться след конкретного объекта информации - образа.

В этом случае механизм доступа к информации базируется не на указании места хранения информации в логикозапоминающей среде, а на анализе свойств самой искомой информации.

В биологических системах обработки данных таким механизмом является механизм ассоциаций. Впервые термин «ассоциация» был введен Дж. Локком в 1698 г. и определен как «связь, возникающая при определенных условиях между двумя или более психическими образованиями - ощущениями, актами, восприятиями, идеями».

Применительно к системам обработки данных, в том числе к искусственным нейронным сетям, ассоциация трактуется как взаимосвязь между информацией (образом) на входе логикозапоминающей среды и информацией (образом), хранящейся в логико-запоминающей среде. Способ доступа к информации в запоминающей среде, базирующийся на механизме ассоциации, получил название ассоциативного способа доступа. Ассоциативный способ доступа к информации обеспечивает:

• практически одновременный доступ ко всей хранящейся в памяти информации;

• относительную независимость времени поиска информации от емкости памяти;

• внесение элементов обработки информации непосредственно в процесс самого доступа;

• обработку информации непосредственно в среде ее хранения.

Эти, а также ряд других отличительных особенностей ассоциативного способа доступа к информации делает его чрезвычайно перспективным в системах обработки данных.

2.1.1. Ассоциации

Существуют различные концепции ассоциативной памяти. Однако все они предполагает наличие следующих элементов:

• логико-эапоминающей среды, являющейся носителем информации;

• множества записанных в памяти информационных объектов;

• структуры взаимосвязей между информационными объектами;

• механизма информационных взаимодействий в логикозапоминающей среде.

Вышеперечисленные элементы концепции ассоциативной памяти позволяют определить основной подход, в соответствии с которым ассоциации между информационными объектами (образами) трактуются как некая абстрактная структура взаимозависимостей (отношений), неявно закодированная в информационных объектах и в соответствующих связях между ними или в формах их представлений.

Эти отношения содержат компоненты двух типов, первые из которых задают сами информационные объекты, а вторые - вид отношений. Признаки этих отношений могут характеризовать свойства объектов, действия над ними, подчиненность, временные признаки и т. д. Очевидно, что такое представление ассоциации - наиболее простая конструкция, на основе которой можно построить структуры отношений произвольной сложности.

В зависимости от условий формирования отношений между ассоциируемыми объектами, ассоциации могут устанавливаться по критериям сходства объектов, контраста, по смежности проявления объектов во времени или в пространстве, а также в рамках определенной совокупности свойств, например, при обеспечении заданных пространственно-временных соотношений.

Логика взаимодействий между информационными объектами может быть реализована на основе двух концепций:

• формирование отношений ассоциаций между однородными объектами;

• концепция «составного отношения», где отношения ассоциаций устанавливаются между качественно различными объектами.

Вид связи между ассоциируемыми объектами может быть различным:

• символьная - связь между объектами устанавливается «на основании соглашения»;

• индексная - связь ассоциируется в силу существующих отношений между объектами;

• иконическая - связь между объектами устанавливается на основе фактического сходства;

• гибридная - сочетает особенности различных видов связи.

В зависимости от степени соответствия ассоциируемых объектов различают автоассоциации и гетероассоциации. Автоассоциации реализуются при условии соответствия соотносимых объектов. Причем объект отыскивается по его произвольным частям, имеющим большую или меньшую корреляцию с искомым объектом, или по его фрагментам в случае, если они достаточны для того, чтобы отличить этот объект от остальных. Для гетероассоциаций характерно то, что инициируемый объект структурно не соответствует любому из поисковых объектов и формируется как ответ на специфический ключевой объект.

Ассоциируемые объекты могут быть представлены либо прямыми, либо косвенными (непрямыми) ассоциациями. Прямые ассоциации по способу представления в виде функциональной зависимости могут инициироваться либо логически детерминированной последовательностью, либо на основе ассоциативной связи посредством прямых указателей. Представление непрямых ассоциаций в виде функциональной зависимости образуется на основе ассоциативных связей посредством перекрестных ссылок.

В контексте трактовки понятия ассоциации как структуры взаимозависимостей между информационными объектами оно отражает наличие взаимосвязей между данными и не имеет отношения к самому механизму хранения информации.

В рамках подхода, рассматривающего ассоциации как коллективные или интегральные изменения в нейронной сети (логикозапоминающей среде), ассоциативные свойства сети могут быть рассмотрены:

• во-первых, с точки зрения возможности коллективного доступа ко всей распределенной в нейронной сети информации, а также параллельной обработки и одновременного преобразования всех данных непосредственно в нейронной среде;

• во-вторых, с точки зрения практической реализации отношений между размещенными в нейронной сети, ассоциируемыми информационными объектами. В этом случае свойства сети могут существенным образом влиять на интерпретацию отношений между информационными объектами, позволяя по-новому подойти к исследованию этих объектов и взаимодействиям между ними.

Именно этот подход позволяет выделить типы нейронных сетей, эффективно используемых для реализации различных задач ассоциативной памяти.

2.1.2. Модели ассоциативной памяти

Ассоциативная память может быть определена как система для записи, хранения, поиска, обработки и считывания информации, в которой данные (знания) об объекте могут быть инициализированы по заданному фрагменту этих данных (знаний), используемому в качестве поискового.

Исходя из этого определения, можно сформулировать решаемые ассоциативной памятью задачи:

• соотнесение поисковой информации с хранимой и дополнение ее (инициализация) до точного описания объекта, т. е. всей информации, которая доступна ассоциативной памяти;

• фильтрация (коррекция) поисковой информации относительно всего объема хранимой в ассоциативной памяти информации, выделение недостоверной и на основании оставшейся решение первой задачи.

Процессы, аналогичные биологическим механизмам запоминания и обработки информации, можно представить с помощью различных моделей ассоциативной памяти, позволяющих отобразить отношения (ассоциации) произвольной сложности между информационными объектами. Однако все эти отношения могут быть реализованы в виде простых конструкций - троек компонентов, упорядоченной пары информационных объектов О и V, и типа отношения А: Одна из простейших моделей ассоциативной памяти для отображения таких отношений показана на рис. 2.1.

Модель состоит из ассоциативной логико-запоминающей среды (нейронной сети), связанной с двумя каналами ввода и одним каналом вывода информации.

На этапе записи (обучения) из первого канала ввода на вход К подается входная информация, а по второму каналу - признаковая информация С, представляющая контекст, в котором входная информация записывается в память.

Рис. 2.1. Модель ассоциативной памяти

Рис. 2.2. Модель ассоциативной памяти с обратной связью

На этапе функционирования (считывания) при появлении ключа К (или его фрагмента) на выходе памяти формируется ответная реакция связанная с ключом К. Таким образом, записанная в память информация может быть получена с использованием любых ее фрагментов, используемых в качестве поисковых. Задавая различный контекст С, можно точнее конкретизировать информацию, которую необходимо получить.

Рассмотрим на примере, каким образом должен быть организован процесс накопления и поиска информации в ассоциативной памяти, чтобы обеспечить цикличность процесса, при котором выбранный элемент информации становится ключом для поиска новой информации.

По трем входным каналам одновременно могут вводиться наборы значений. По первому каналу в момент времени подается адресная информация а по второму - признак Отклик по каналу обратной связи подается также на вход ассоциативной среды. Выходной канал служит для выдачи информации.

При функционировании такой ассоциативной памяти ключи и признаки подаются через интервалы времени, соответствующие задержке канала обратной связи.

Процесс работы памяти будем рассматривать в предположении, что тройка представляет собой единый статический образ, заданный в момент времени причем возможна его одновременная запись в память за одну операцию. Допустим также, что на этапе записи одинаковы.

На этапе записи на входы ассоциативной памяти поступают при этом на выходе формируется идентичный После этого с задержкой А на входе формируется Каждая новая тройка, появляющаяся на входах, записывается в память.

На этапе получения данных из ассоциативной памяти на вход подается ключ К, связанный с контекстной информацией С, после чего К можно снять с входа. В результате на выходе в качестве отклика появляется копия К. Когда на входе памяти появится задержанный сигнал новым ключевым признаком становится пара приводящая появлению на выходе следующего образа R(t) и т. д. Таким образом, выбирается вся записанная последовательность образов вместе с контекстной информацией.

Рассмотренная системная модель реализует ассоциативную память, пригодную для записи и выборки структурированных знаний.

Модели ассоциативной памяти, реализуемые нейронными сетями, могут быть гораздо сложнее. Кроме того, память может иметь несколько входов и выходов, состоять из нескольких подсистем. Данные в одном канале могут порождать контекстную информацию для другого канала. Этап записи может выполняться отдельно от выборки или быть совмещенным и т. д.