9.6. Гибридная сеть

Главная особенность сети с самоорганизацией на основе конкуренции - это очень высокая скорость обучения, многократно большая, чем у сетей, тренируемых с учителем. Их недостатком считается сложность отображения пар обучающих данных поскольку сеть с самоорганизацией, выполняющая обработку только входного вектора х, не обладает свойствами хорошего аппроксиматора. присущими многослойному персептрону или радиальной сети RBF. Очень хорошие результаты удается получить при объединении самоорганизующегося слоя и персептронной сети, что позволяет совместить способности сети Кохонена к локализации и возможности аппроксимации, свойственные многослойному персептрону. Подобная структура, которая в последующем будет называться гибридной сетью, изображена на рис. 9.13. Она представляет собой каскадное подключение слоя Кохонена и персептронной сети (часто оказывается достаточным один персептронный слой). Самоорганизующийся слой улавливает

значимые признаки процесса (локализует их на основе входных данных после чего им приписывается входной вектор в персептронной слое. Вследствие хорошей локализации признаков процесса первым слоем сети в большинстве приложений бывает достаточным применение персептрона, содержащего только один слой нейронов (зачастую линейных). Обучение гибридной сети состоит из двух отдельных этапов, следующих друг за другом.

Рис. 9.13. Структура гибридной сети

Вначале на множестве входных векторов обучается слой Кохонена. В результате нейроны этого слоя организуются таким образом, что векторы их весов наилучшим образом (с минимальной погрешностью квантования) отображают распределение данных обучающих векторов Тренинг слоя Кохонена проводится по одному из реализованных в программе Kohon алгоритмов обучения сети с самоорганизацией (например, нейронного газа или WTA с механизмом учета усталости). По завершении обучения слоя Кохонена веса его нейронов замораживаются и проводится анализ их выходных сигналов при подаче на вход сети последовательности сигналов х из обучающего множества. Победитель (нейрон с наибольшим значением суммарного сигнала переводится в единичное состояние, а остальным нейронам приписываются состояния из интервала Переход от фактических суммарных сигналов и, этих нейронов к выходным нормализованным сигналам может проводиться по различным формулам. Опыт показывает, что хорошие результаты можно получить с использованием выражения

при значениях индивидуально подбираемых для каждой решаемой задачи.

• Персептронная сеть обучается с учителем по завершении тренинга самоорганизующегося слоя. Обучающими сигналами для нее является множество пар где это вектор, составленный из выходных сигналов нейронов слоя Кохонена, вектор ожидаемых значений оригинального отображения которому соответствует вектор Сеть обучается как по алгоритму обратного распространения, так и градиентным методом (программа Netteach применяется так же, как и для обычной персептронной сети). Процесс обучения в этом случае может протекать во много раз быстрее, чем для одиночной персептронной сети, благодаря хорошей локализации данных, обеспеченной первым слоем Кохонена. Это особенно заметно на сети с одним персептронным слоем. Если принять во внимание, что каждому возбуждению х соответствует конкретный доминирующий нейрон (победитель), то можно осуществить предварительную инициализацию весов персептронного слоя таким образом, что значения весов, соединяющих нейрон-победитель с выходными нейронами гибридной сети, будут усредняться по тем векторам на которых были одержаны победы. При такой предварительной инициализации весов обучение персептронного слоя сводится к незначительной корректировке их значений, отражающей влияние проигравших нейронов Кохонена на окончательный результат. Эта корректировка, как правило, требует небольшого количества итераций и ведет к достижению глобального минимума функции погрешности.

Следует отметить, что представленная гибридная сеть может считаться обобщением сети обратного распространения Хехта-Нильсена [50, 113, 118]. В отличие от нее в гибридной сети допускается дробная активность нейронов в слое Кохонена от значения 1 для победителя до для остальных нейронов. Активность нейронов, проигравших в конкурентной борьбе, рассчитывается согласно формуле (9.35). Учет активности многих нейронов при функционировании персептронной сети позволяет лучше локализовать вектор в многомерном пространстве и получить лучшее отображение данных нейронной сетью в целом.

Это оригинальное свойство гибридной сети может иметь различные практические приложения. Например, ее применение для предсказания профилей нагрузок в электроэнергетической системе позволило значительно уменьшить как погрешность МАРЕ, так и максимальную погрешность самого прогноза.

В табл. 9.2 приведены результаты сравнения точности прогнозов нагрузок для Польской электроэнергетической системы, полученных на основе классической сети Кохонена и гибридной сети [124]. Во втором случае результаты были получены при подкреплении прогнозирования персептронной сетью на этапе расчета средних значений и их вариаций, используемых в формуле (9.34). Из приведенных данных следует, что гибридная сеть позволила уменьшить как погрешность МАРЕ, так и максимальную погрешность прогноза.

Таблица 9.2. Погрешности МАРЕ и прогноза нагрузок при использовании сети Кохонена и гибридной сети

Хорошие результаты получаются при применении гибридной сети для анализа состава газовых смесей и оценивания концентрации отдельных компонентов по показаниям полупроводниковых датчиков (так называемый искусственный нос) [118]. Полупроводниковые датчики характеризуются относительно слабой селективностью; они в разной степени реагируют на присутствие в смеси различных газов. В технических решениях применяются матрицы датчиков, по-разному реагирующих на присутствие конкретного газа. В этой ситуации задача нейронной сети состояла в калибровке прибора, т. е. в

Рис. 9.14. (см. скан) Сопоставление абсолютных погрешностей оценки состава смесей из четырех газов (количество измерений равно 20), полученных в результате применения гибридной сети

сопоставлении показаниям каждого датчика соответствующих значений концентрации конкретных компонентов газовой смеси. Для достижения поставленной цели была создана гибридная нейронная сеть, в которой слой Кохонена определял тип газовых компонентов, а персептронный слой оценивал их концентрацию.

На рис. 9.14 представлены графики погрешностей оценок присутствия четырех газов (в ppm): углекислого газа, метана, метанола и пропана/бутана, полученных при использовании гибридной нейронной сети [118]. Обучение сети проводилось на 400 обучающих выборках, а ее тестирование - на 20 других выборках.

Максимальная погрешность для тестовых примеров не превышала 12 ppm, а средняя абсолютная погрешность оставалась на уровне 2,59 ppm.

Рис. 9.15. (см. скан) Сопоставление относительных погрешностей оценки состава смесей из четырех газов (количество измерений равно 20), полученных в результате применения гибридной сети

На рис. 9.15 представлены графики относительных погрешностей оценок по 20 тестовым выборкам, соответствующие результатам, представленным на рис. 9.14. Значение максимальной относительной погрешности не превысило 7%, а абсолютное среднее значение относительной погрешности распознавания всех компонентов исследованных газовых смесей составило 0,78%.