2.7. Когнитрон

Способы определения сходства и различия образов, правила распознавания, используемые компьютерными системами,

Рис. 2.12 Структура когнитрона

зависят от особенностей их организации и функционирования, а также от выбора методов, адекватных решаемым задачам.

Переход при создании перспективных технических систем к биологическим адаптивным моделям восприятия и распознавания, которые характеризуются самоорганизацией в результате воздействия окружающей среды, обусловлен поразительной способностью человека к решению сложных задач.

К. Фукушима (К. Fukushima) в 1975 году разработал когнитрон - гипотетическую модель биологической системы восприятия и распознавания, инвариантную к поворотам, перемещениям, изменениям масштабов образов Возможности когнитрона к адаптивному распознаванию образов стимулировали, в свою очередь, исследования механизмов мозга

Когнитрон (рис. 2.12) организован подобно зрительной коре мозга человека, состоящей нескольких слоев нейронов. Несмотря на то, что слои организованы однотипно, каждый из них, подобно отдельным слоям зрительной коры, реализует различные уровни обобщения. Например, если входной слой нейронов распознает лишь простые образы (линии) и их ориентацию, то последующие слои способны к все более сложному обобщению, качество которого не зависит от положений распознаваемых образов.

Нейрон из последующего слоя связан с ограниченным набором нейронов предыдущего. Подобное правило организации при переходе от слоя к слою позволяет каждому нейрону выходного слоя реагировать на все входное поле при наличии ограниченного количества слоев нейронов. Однако при незначительном фиксированном размере области связи нейронов требуется большое число промежуточных слоев для перекрытия входного поля выходными нейронами. Количество требуемых слоев может быть уменьшено за счет расширения области связи в последующих слоях. Результатом такого расширения может явиться значительное перекрытие областей связи, приводящее к одинаковой реакции нейронов выходного слоя. Для решения этой проблемы может быть увеличен размер области конкуренции, из которой на поданный входной образ активизируется только один нейрон выходного слоя, а влияние малой разницы в реакциях нейронов усиливается.

В качестве альтернативного варианта организации межслойных взаимосвязей в когнитроне с целью предоставления каждому нейрону выходного слоя возможности реагировать на полное входное попе при наличии ограниченного количества слоев, области связи нейронов могут быть сформированы с учетом вероятностного распределения синаптических связей нейронов.

Каждый слой когнитрона (рис. 2.13) содержит два типа нейронов возбуждающие и тормозящие. Возбуждающие нейроны одного слоя стремятся вызвать активизацию соединенного с ними нейрона следующего слоя. Тормозящие нейроны нейтрализуют это возбуждение Возбуждение нейрона определяется значением нелинейной функции активации от взвешенной суммы его возбуждающих и тормозящих входов.

Каждый возбуждаемый нейрон последующего слоя связан с ограниченным числом возбуждающих нейронов предыдущего слоя (из области его связи), что согласуется с анатомическими представлениями о зрительной коре головного мозга Аналогично, в предыдущем слое существуют тормозящие нейроны, соответствующие тем же областям связи.

Возбуждающие нейроны. Значение выхода возбуждающего нейрона определяется отношением взвешенных сумм возбуждающих и тормозящих входов.

Рис. 2.13 Взаимосвязь слоев когнитрона

где - вес возбуждающего входа; - выход возбуждающего нейрона предыдущего слоя; - вес тормозящего входа; - выход тормозящего нейрона предыдущего слоя, веса имеют только положительные значения

При выполнении условия выход нейрона принимает следующее значение:

Если то значение может быть аппроксимировано что соответствует функции линейного порогового элемента с нулевым порогом.

Особенностью когнитрона является то, его весовые коэффициенты могут только возрастать в процессе обучения. Причем этот рост не ограничен. Однако условием ограничения значения является одинаковый диапазон изменения значений возбуждающих и тормозящих входов:

В этом случае где - константы, - диапазон изменения значений возбуждающих и тормозящих входов.

Значение выхода нейрона изменяется по закону Вебера-Фехнера, используемого в нейрофизиологии для аппроксимации нелинейных соотношений значений на входах/выходах сенсорных нейронов. При использовании этого соотношения нейрон когнитрона достаточно точно моделирует поведение биологического прототипа.

Тормозящие нейроны. Тормозящий нейрон соответствует области связи возбуждающего нейрона. Веса тормозящих нейронов устанавливаются заранее таким образом, чтобы их сумма была равна единице. Кроме того, они не изменяются в процессе обучения Значение на выходе тормозящего нейрона представляет собой среднее арифметическое значений выходов возбуждающих нейронов из соответствующей области связи.

где - вес возбуждающего входа.

Рис. 2.14 Нейрон когнитрона с ускоренным торможением

Латеральное торможение, на каждый нейрон слоя оказывают латеральное торможение нейроны из области его конкуренции (рис. 2.13). Соответствующий тормозящий нейрон суммирует выходы всех нейронов из этой области и вырабатывает сигнал, тормозящий воздействие на целевой нейрон. Данный подход эффективен для нейрофизиологического моделирования, однако требует существенных вычислительных затрат из-за возможного большего числа итераций при стабилизации состояния нейрона.

Для реализации ускоренного латерального торможения может быть предложено решение (рис. 2.14), позволяющее выполнить все вычисления за одну итерацию.

На выходе дополнительного нейрона латерального торможения формируется сигнал:

где - выход нейрона в области конкуренции; - вес связи от нейрона к нейрону латерального торможения;

Обучение когнитрона. Процесс обучения когнитрона представляет собой обучение без учителя, в результате которого при получении обучающего набора входных образов сеть самоорганизуется за счет изменения весовых коэффициентов.

При инициализации значения на всех выходах нейронов идентичны.

Соседние нейроны слоя (из области конкуренции) конкурируют между собой. Это обеспечивается за счет значительного перекрытия областей связей соседних нейронов.

В результате обучения в заданной области слоя возбуждается только один нейрон, который будет оказывать латеральнотормозящее воздействие на соседние нейроны из области его конкуренции. В результате обучения синапсы возбужденного нейрона будут усиливаться, а синапсы соседних нейронов останутся неизменными.

Возбуждающие веса данного нейрона изменяются следующим образом:

где - вес тормозящей связи нейрона с тормозящим нейроном - выход нейрона; а, - вес возбуждающего входа; - коэффициент скорости обучения.

Изменение же значений тормозящих весов этого нейрона вычисляется по формуле:

В случае, когда отсутствуют возбужденные нейроны в области конкуренции (например, на этапе инициализации процесса обучения), изменения весов вычисляются следующим образом:

где - положительный коэффициент скорости обучения

Благодаря рассмотренной процедуре обучения у активизированных нейронов возбуждающие веса увеличиваются сильнее, чем тормозящие И наоборот, у нейронов, которые проиграли конкуренцию, возбуждающие веса возрастают незначительно, а тормозящие - сильнее.

При обучении веса нейронов (и последующих) слоев настраиваются так, чтобы активные сигналы на их выходах соответствовали векторам, которые предъявлялись в процессе обучения.