9.2. Алгоритмы обучения сетей с самоорганизацией

Целью обучения сети с самоорганизацией на основе конкуренции нейронов считается такое упорядочение нейронов (подбор значений их весов), которое минимизирует значение ожидаемого искажения, оцениваемого погрешностью аппроксимации входного вектора значениями весов нейрона-победителя в конкурентной борьбе. При входных векторах и применении эвклидовой метрики эта погрешность, называемая также погрешностью квантования, может быть выражена в виде

где - это вес нейрона-победителя при предъявлении вектора

Этот подход также называется векторным квантованием (англ.: Vector Quantization - VQ). Номера нейронов-победителей при последовательном предъявлении векторов х образуют так называемую кодовую таблицу. При классическом решении задачи кодирования применяется алгоритм -усреднений (англ.: K-means), представленный в разделе 5 и носящий имя обобщенного алгоритма Ллойда [89].

Для нейронных сетей аналогом алгоритма Ллойда считается алгоритм WTA (англ.: Winner Takes All - Победитель получает все). В соответствии с ним после предъявления вектора рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, т.е. тот, для которого скалярное произведение оказывается наибольшим. В предыдущем разделе было показано, что при использовании нормализованных векторов это равнозначно наименьшему эвклидовому расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора х согласно правилу

Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать усталость нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов. Как уже отмечалось ранее, такая модификация применяется чаще всего на начальной стадии обучения с последующим отключением после активизации всех нейронов. Подобный способ обучения реализован в программе Kohon в виде режима CWTA и считается одним из наилучших и наиболее быстрых алгоритмов самоорганизации.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяются алгоритмы типа WTM (англ.: Winner Takes Most - Победитель получает больше), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен обобщенной зависимостью (9.2), которая здесь представляется в виде

для всех нейронов, расположенных в окрестности победителя. В приведенной формуле коэффициент обучения каждого нейрона отделен от его расстояния до предъявленного вектора х функцией Если определяется в форме

где обозначает номер победителя, то мы получаем классический алгоритм WTA. Существует множество вариантов алгоритма WTM, отличающихся прежде всего формой функции Для дальнейшего изучения выберем два из них: классический алгоритм Кохонена и алгоритм нейронного газа.