1.2. Первые модели нейронной сети

Из приведенных выше рассуждений следует; что каждый нейрон можно считать своеобразным процессором: он суммирует с соответствующими весами сигналы, приходящие от других нейронов, выполняет нелинейную (например, пороговую) решающую функцию и передает результирующее значение связанным с ним нейронам. В соответствии с действующим правилом “все или ничего” в простейших моделях нейронов выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порога возбуждения нейрона, а значение 0 - возбуждению ниже порогового уровня.

В одной из первых моделей нейрона, называемой моделью МакКаллока-Питса (предложенной в 1943 г.), нейрон считается бинарным элементом [98, 135]. Структурная схема этой модели представлена на рис. 1.3. Входные сигналы

суммируются с учетом соответствующих весов (сигнал поступает в направлении от узла к узлу в сумматоре, после чего результат сравнивается с пороговым значением Выходной сигнал нейрона определяется при этом зависимостью

Аргументом функции выступает суммарный сигнал Функциями называется функцией активации. В модели МакКаллока-Питса это пороговая функция вида

Коэффициенты присутствующие в формуле (1.1), представляют веса синаптических связей. Положительное значение соответствует возбуждающим синапсам, отрицательное значение - тормозящим синапсам, тогда как свидетельствует об отсутствии связи между нейронами. Модель МакКаллока-Питса - это дискретная модель, в которой состояние нейрона в момент рассчитывается по значениям его входных сигналов в предыдущий момент Построение дискретной модели обосновывается проявлением рефракции у биологических нейронов, приводящей к тому, что нейрон может изменять свое состояние с конечной частотой, причем длительность периодов бездействия зависит от частоты его срабатывания.

Рис. 1.3. Модель нервной клетки по МакКаллоку-Питсу

Через несколько лет Д. Хебб в процессе исследования ассоциативной памяти предложил теорию обучения (подбора весов ) нейронов. При этом он использовал наблюдение, что веса межнейронных соединений при активации нейронов могут возрастать. В модели Хебба приращение веса в процессе обучения пропорционально произведению выходных сигналов нейронов, связанных весом

где к означает номер цикла, а - это коэффициент обучения.

В начале 60-х годов Б. Видроу [167] предложил теоретическое обоснование и сформулировал принципы практической реализации адаптивных устройств обработки сигналов, что стало существенным вкладом в развитие нейронных сетей, функционирующих в режимах “онлайн” и “оффлайн”.

В 1962 г. была опубликована книга Ф. Розенблатта [135], в которой представлена теория динамических нейронных систем для моделирования мозговой деятельности, основанная на персептронной модели нервной клетки. В этой теории использовалось представление нейрона моделью МакКаллока-Питса, в которой функция активации принимала двоичные значения 0 и 1.

Ограниченные возможности одиночного персептрона и составляемых из таких элементов одноуровневых сетей подверглись критике в книге М. Минского и С. Пейперта [101], что вызвало резкое снижение финансирования этой сферы научных исследований и привело в результате к замедлению развития искусственных нейронных сетей. Только отдельные научные группы, сконцентрированные вокруг таких ученых, как Гроссберг, Видроу, фон дер Мальсбург, Амари, Фукушима и Кохонен, продолжали работу в этой области. И только бурное развитие в 80-х годах технологии производства полупроводниковых устройств сверхвысокой степени интеграции (VLSI) привело к резкому возрастанию интереса к средствам параллельной обработки информации, которыми считаются и искусственные нейронные сети. Начиная с опубликованных в 1982 г. работ Дж. Хопфилда [53], теория нейронных сетей развивается в стремительном темпе, а количество научных центров, занимающихся этой междисциплинарной сферой знаний, непрерывно увеличивается. Доработка или, точнее, повторное открытие принципа обратного распространения [51] в применении к обучению многослойных сетей сняли те ограничения, которые стали главным объектом критики в книге М. Минского и С. Пейперта. Масштабное увеличение финансирования этой научной отрасли предопределило существенный прогресс как в теории, так и в практических приложениях. С учетом взрывного развития вычислительных систем это создало базу для реализации новых технологических решений в сфере технического распознавания образов, восприятия и объяснения, в управлении сложными системами, для обработки речевых сообщений и т.п. В настоящее время искусственные нейронные сети представляют собой высокоразвитую (особенно в теоретическом аспекте) отрасль знаний.