2.8. Неокогнитрон

Развитием когнитрона является неокогнитрон, представляющий собой многоуровневую иерархическую нейронную сеть организация и принципы функционирования которой наиболее соответствуют модели зрительной коры головного мозга Неокогнитрон достаточно универсален и находит широкое применение не только для обработки визуальных данных, но и в качестве обобщенной системы распознавания образов

Он имеет иерархическую структуру, состоящую из последовательности слоев нейронов (рис 2 15) Входной образ подается на первый слой и передается далее до достижения выходного слоя, в котором он распознается

Входной слой неокогнитрона распознает линии и углы определенной ориентации Каждый нейрон в слое, близком к входному, реагирует на определенные образы в определенном месте с определенной ориентацией Каждый последующий слой имеет более абстрактную, менее специфическую реакцию по сравнению с предыдущим В последующих слоях распознаются все более сложные образы независимо от их положения, размера, ориентации и искажений

Каждый слой неокогнитрона состоит из двух плоскостей, разделенных на двумерные массивы нейронов Первая плоскость, содержащая простые нейроны, получает сигналы с выходов сложных нейронов предыдущего слоя, выделяет определенные образы и затем передает их во вторую плоскость данного слоя, содержащую сложные нейроны, где образы обрабатываются таким образом, чтобы обеспечить их меньшую позиционную зависимость

Внутри отдельного слоя массивы простых и сложных нейронов соответствуют друг другу

Рецептивное поле каждого нейрона от слоя к слою возрастает, количество же нейронов в слое при этом уменьшается Наконец, в каждом массиве выходного слоя имеется только один сложный нейрон, который реагирует на определенный входной образ. В процессе распознавания входной образ подается на вход неокогнитрона, а вычисления осуществляются слой за слоем Так как только небольшая часть входного образа подается на вход каждого простого нейрона входного слоя, некоторые простые нейроны реагируют на наличие характеристик, которым они обучены, и возбуждаются В следующих слоях выделяются более сложные характеристики как определенные комбинации выходов сложных нейронов, и уменьшается позиционная зависимость.

Рис. 2.15 Структура неокогнитрона

Если используется латеральное торможение, то возбуждается только один нейрон выходного слоя с максимальным значением выхода Однако это часто является не лучшим вариантом

Обычно используется подход, при котором будут активизироваться несколько нейронов с различной степенью возбуждения, и входной образ должен быть определен с учетом соотношения их выходов Это позволяет улучшить точность распознавания

Простые нейроны. Отдельный массив плоскости простых нейронов настраивается на один специфический входной образ Каждый простой нейрон массива реагирует на ограниченную область входного образа, называемую его рецептивной областью Нейрон реагирует, если часть образа, на которую он настроен, встречается во входном образе и обнаружена в его рецептивной области. Другие массивы простых нейронов первой плоскости в этом слое могут быть настроены, например, на повороты образов Причем для выделения каждого дополнительного образа (или его версии) требуется дополнительная плоскость.

Рецептивные области простых нейронов в каждом массиве первой плоскости перекрываются для покрытия всего входного поля этого слоя. Каждый такой нейрон получает сигналы от соответствующих рецептивных областей всех массивов второй плоскости из предыдущего слоя. Следовательно, простой нейрон реагирует на появление своего образа в любой сложной плоскости предыдущего слоя, если он окажется внутри его рецептивной области

Простые нейроны неокогнитрона имеют такие же свойства, что и в когнитроне, и для определения их выхода используются те же формулы.

Простые нейроны в отличие от сложных имеют настраиваемые веса связей, соединяющих простой нейрон со сложными нейронами в предыдущем слое, настраиваемые таким образом, чтобы выработать максимальную реакцию на определенные образы. Помимо возбуждающих синапсов, к простому нейрону подключены тормозящие, стремящиеся уменьшить значение на его выходе.

Сложные нейроны. Сложные нейроны решают задачу уменьшения позиционной зависимости реакции неокогнитрона на образы. Для этого на входы каждого сложного нейрона подаются выходные сигналы с набора простых нейронов из соответствующего множества первой плоскости того же слоя.

Активизация любого простого нейрона из рецептивной области сложного нейрона является достаточным условием для возбуждения данного сложного нейрона. Таким образом, сложный нейрон реагирует на тот же образ, что и простые нейроны в соответствующем ему массиве, но он менее чувствителен к позиции образа, чем любой из них.

Каждый слой сложных нейронов реагирует на все большую область входного образа, по сравнению с предшествующими слоями, что приводит к требуемому уменьшению позиционной зависимости реакции неокогнитрона на образы в целом.

Помимо активизирующих, в плоскости сложных нейронов присутствуют тормозящие нейроны, которые вырабатывают

выходные сигналы, пропорциональные квадратному корню из взвешенной суммы квадратов их входных сигналов. При этом на входы тормозящего нейрона подаются сигналы с выходов сложных нейронов из соответствующей рецептивной области для заданного простого нейрона следующего слоя.

В символьном виде:

где - выход тормозящего нейрона; - индекс сложного нейрона, с которым связан тормозящий нейрон; - вес синаптической связи от сложного нейрона к простому тормозящему нейрону; - выход сложного нейрона. Веса монотонно уменьшаются с увеличением расстояния от центра области реакции, при этом Однако в процессе обучения эти веса не изменяются. Изменяется только вес тормозящего входа простого нейрона, к которому подключен выход тормозящего нейрона из предыдущего слоя.

На рис. 2.16 показана организация взаимосвязей между простым нейроном и сложными нейронами из одного из массивов предыдущего слоя.

Обучение. Как и для когнитрона, процесс обучения неокогнитрона представляет собой обучение без учителя, в результате которого сеть самоорганизуется. При этом на вход неокогнитрона подается образ, который необходимо распознать, и веса синапсов настраиваются слой за слоем. Значение веса от каждого сложного нейрона к заданному простому увеличивается, когда удовлетворяются следующие два условия:

• активизируется сложный нейрон;

• реакция одного из простых нейронов больше, чем у его соседей из любой из области конкуренции.

Это приводит к тому, что простой нейрон обучается реагировать более сильно на образы, появляющиеся наиболее часто в его рецептивной области. Если распознаваемый образ отсутствует на входе, тормозящий нейрон предохраняет от случайной активизации соответствующий простой нейрон.

Процедура обучения и подход при реализации латерального торможения когнитрона и неокогнитрона аналогичны. При этом выходы простых и сложных нейронов являются непрерывными, неотрицательными и изменяются по линейному закону.

При срабатывании на входной образ простого нейрона его веса должны быть увеличены. Также увеличиваются веса всех

Рис. 2.16 Взаимосвязь простого нейрона со сложными нейронами из предыдущего слоя

простых нейронов из данного массива для этого самого образа. Таким образом, все нейроны в массиве обучаются распознавать одни и те же свойства образа, и после обучения будут делать это независимо от позиции образа в поле сложных нейронов из предшествующего слоя

Это определяет способность неокогнитрона к самовосстановлению. Так, если активизируемый нейрон выйдет из строя, среди других выбирается другой, реагирующий наиболее сильно, который и будет обучен распознаванию входного образа, заменяя отказавший нейрон.

При обучении с учителем требуемые значения выходов нейронов каждого слоя определяется заранее. Их веса настраиваются с использованием обычных процедур. Например, входной слой настраивался для распознавания отрезков линий в различных ориентациях. Последующие слои обучаются реагировать на более сложные свойства до тех пор, пока в выходном слое требуемый образ не будет выделен.