2.5. Нейроны типа WTA

Нейроны типа WTA (англ.: Winner Takes All - Победитель получает все) [46, 73, 114] имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами Выходной сигнал сумматора определяется согласно формуле

Группа конкурирующих между собой нейронов (рис. 2.9) получает одни и те же входные сигналы . В зависимости от фактических значений весовых коэффициентов суммарные сигналы к, отдельных нейронов могут различаться. По результатам сравнения этих сигналов победителем признается нейрон, значение и, у которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные (проигравшие) нейроны переходят в состояние 0.

Для обучения нейронов типа WTA не требуется учитель, оно протекает аналогично обучению инстара, с использованием нормализованных входных векторов х. На начальном этапе случайным образом выбираются весовые коэффициенты каждого нейрона, нормализуемые относительно 1. После подачи

первого входного вектора х определяется победитель этапа. Победивший в этом соревновании нейрон переходит в состояние 1, что позволяет ему провести уточнение весов его входных линий (по правилу Гроссберга).

Рис. 2.9. Схема соединения нейронов типа WTA

Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения их весовых коэффициентов. Вследствие бинарности значений выходных сигналов конкурирующих нейронов (0 или 1) правило Гроссберга может быть несколько упрощено:

На функционирование нейронов типа WTA оказывает существенное влияние нормализация входных векторов и весовых коэффициентов. Выходной сигнал нейрона в соответствии с формулой (2.25) может быть описан векторным отношением

Поскольку значение определяется углом между векторами Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучающему вектору х. В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора х. Если на вход сети будет подаваться множество близких по значениям векторов, побеждать будет один и тот же нейрон. Поэтому его веса станут равными усредненным значениям тех входных векторов, благодаря которым данный нейрон оказался победителем. Проигравшие нейроны не изменяют свои веса. Только победа при очередном представлении входного вектора позволит им произвести уточнение весовых коэффициентов и продолжить процесс обучения в случае еще одной победы.

Следствием такой конкуренции становится самоорганизация процесса обучения. Нейроны уточняют свои веса таким образом, что при предъявлении группы близких по значениям входных векторов победителем всегда оказывается один и тот же нейрон. В процессе функционирования именно этот нейрон благодаря соперничеству распознает свою категорию входных данных. Системы такого типа чаще всего применяются для классификации векторов.

Рис. 2.10. Нейронная сеть типа WTA

Рис. 2.11. Процесс обучения изображенной на рис. 2.10 нейронной сети типа WTA

В качестве примера рассмотрим нейронную сеть, состоящую из четырех нейронов типа WTA и предназначенную для классификации входных двухкомпонентных векторов (рис. 2.10). Входные обучающие векторы х представлены в нормализованной форме:

Процесс обучения сети представлен на рис. 2.11. Окружностями обозначены позиции очередных векторов весов тех нейронов, которые побеждали в соревновании. Можно отметить, что в процессе обучения побеждали только три нейрона. Четвертый нейрон остался мертвым (он не победил ни разу) и не настроился ни на одну категорию векторов.

При значении коэффициента обучения после 320 обучающих циклов были получены следующие веса трех первых нейронов:

Они отражают три категории входных векторов, на которые было самостоятельно разделено множество исходных данных.

Серьезной проблемой при обучении WTA остается проблема мертвых нейронов, которые после инициализации ни одного раза не победили в конкурентной борьбе и остались в состоянии, сформированном в начальный момент времени. Каждый мертвый нейрон уменьшает эффективное количество элементов, прошедших обучение, и соответственно увеличивает общую погрешность распознавания данных. Для разрешения этой проблемы применяется модифицированное обучение, основанное на учете прошлых побед каждого нейрона и штрафовании (временной дисквалификации) тех из них, которые побеждали чаще всего. Дисквалификация слишком активных нейронов может осуществляться либо назначением порогового числа побед, по достижении которого наступает обязательная пауза, либо уменьшением фактического значения при нарастании количества побед нейрона.