12.4.4. Алгоритм нечеткой самоорганизации Густафсона-Кесселя

В классическом алгоритме C-means, представленном в подразделе 12.4.1, нейрон-победитель выбирается на основании обычного эвклидового расстояния между вектором х и центром с кластера, т.е.

Определенное таким образом расстояние учитывалось в формуле (12.26), характеризующей значение функции погрешности. При подобном задании меры расстояния между двумя векторами множество точек, равноудаленных от центрального нейрона (победителя), принимает форму окружности с одинаковым масштабом по всем координатам. Если входные данные образуют группы, форма которых отличается от окружности, либо если шкалы значений отдельных координат вектора сильно различаются, рассчитанные значения будут отражать принадлежность векторов х конкретным кластерам. В такой ситуации качество группирования можно существенно повысить за счет применения усовершенствованной версии алгоритма самоорганизации, называемой алгоритмом Густафсона-Кесселя (ГК) [185].

По отношению к обычному алгоритму C-means главное изменение состоит во введении в формулу расчета расстояния между векторами масштабирующей матрицы А. При этом масштабированное расстояние между вектором х и центром с определяется по формуле

Легко показать, что определенная таким образом мера расстояния масштабирует единичный вектор где пропорционально квадратному корню диагонального значения матрицы А. Вследствие этого

В качестве масштабирующей обычно применяется симметричная положительно определенная матрица, т.е. матрица, у которой все собственные значения являются действительными и положительными. Множество собственных векторов, удовлетворяющих таким собственным значениям, образует в этом случае ортогональную базу многомерного пространства. В новом масштабированном пространстве длины нормированных собственных векторов матрицы А трансформируются согласно формуле

Таким образом, длины собственных векторов масштабируются с коэффициентом

Так же как и при использовании алгоритма C-means, цель обучения сети с применением алгоритма Густафсона-Кесселя состоит в таком размещении центров, чтобы минимизировать функцию погрешности, определяемую в несколько более общем виде, а именно

где расстояние между вектором и центром определяется с учетом масштабирования как

Решение задачи оптимального размещения центров по алгоритму Густафсона-Кесселя происходит так же, как и по алгоритму C-means путем многократного пересчета коэффициентов принадлежности по формуле (12.29) и координат центров по формуле (12.28), но с учетом масштабирования при расчете расстояний. Алгоритм Густафсона-Кесселя может быть сформулирован в следующем виде.

1. Произвести начальное размещение центров в пространстве данных. Эта инициализация может быть случайной или основанной на результатах пикового или разностного группирования данных. Создать элементарную форму масштабирующей матрицы

2. Сформировать матрицу коэффициентов принадлежности всех векторов к центрам путем расчета значений по формуле

где определяется из выражения (12.42). Если для некоторого то принять для всех отличных от I.

3. Рассчитать новое размещение центров в соответствии с формулой

4. Сгенерировать для каждого центра матрицу ковариации

5. Рассчитать новую масштабирующую матрицу для каждого центра по формуле

где обозначает размерность входного вектора

6. Если последние изменения положений центров и матрицы ковариации пренебрежимо малы по отношению к предыдущим значениям и не превышают изначально заданной пороговой величины то завершить итерационный процесс; в противном случае перейти к

Функционирующий таким образом алгоритм обучения параллельно генерирует все центры самоорганизующихся нечетких нейронов и связанные с ними масштабирующие матрицы, используемые при расчете расстояний. По завершении процесса обучения как положения центров, так и значения элементов масштабирующих матриц фиксируются и могут использоваться в режиме эксплуатации сети.

Работа алгоритма будет проиллюстрирована на примере множества данных, изображенных на рис. 12.4.

Рис. 12.4. (см. скан) Распределение данных на четыре группы с неравномерной структурой

Это множество образовано четырьмя группами данных, сгенерированных случайным образом и размещенных в окрестностях центров со следующими координатами

Разбросы данных по осям составляют: (1.5, 0,2) - для первого кластера, (1.5, 0,2) - для второго кластера, (0,6, 4) — для третьего кластера и (0,6, 4) - для четвертого кластера. Главная проблема группирования этих данных состоит в том, что граничные данные вытянутых кластеров лежат ближе к центру соседнего кластера, чем своего собственного. Поэтому применение обычного алгоритма C-means привело бы к некорректной классификации данных.

С помощью нечеткой самоорганизации Густафсона-Кесселя уточнено размещение 4 центров и рассчитаны соответствующие им матрицы ковариации.

Окончательные координаты центров, найденные алгоритмом ГК, равны: первый центр:

Заметно, что воссозданные алгоритмом позиции центров лишь незначительно отличаются от принятых начальных координат центральных точек областей, в которых случайным образом генерировались данные. Матрицы трансформации, соответствующие конкретным нейронам, имеют вид:

На рис. 12.5 представлены результаты самоорганизации тестовых данных из примера в режиме эксплуатации. Вокруг каждого центра размещены равноудаленные линии тестовых данных, образующие эллипсовидную структуру. Все точки расположены внутри области, ограниченной внешним эллипсом. Это свидетельствует о корректном упорядочении данных по конкретным областям.

Рис. 12.5. Распределение линий равной удаленности данных от центров соответствующих кластеров, полученное с помощью алгоритма

Обратим внимание, что независимо от способа реализации алгоритма обучения сеть с нечеткой самоорганизацией выполняет нечеткое группирование данных путем приписывания их к различным центрам на основе коэффициентов принадлежности, значения которых изменяются от нуля до единицы. Это означает, что каждый вектор представляется множеством центров, причем влияние каждого из них на значение вектора различно и зависит от величины

коэффициента принадлежности. Если принять, что вектор представляется К центрами а принадлежность вектора к каждому центру задана коэффициентом (формула (12.43)), то реконструкция исходного вектора происходит согласно выражению

Заметно, что влияние каждого центра на окончательное значение реконструированного вектора различно и зависит от расстояния между этим центром и исходным вектором х. В этом существенное отличие нечеткой самоорганизации от классической самоорганизации Кохонена, при которой реконструкция вектора выполняется исключительно на базе одного центра, ближайшего данному вектору, путем простого приписывания ему значения этого центра.