5.6. Сравнение радиальных и сигмоидальных сетей
Радиальные нейронные сети относятся к той же категории сетей, обучаемых с учителем, что и многослойный персептрон. По сравнению с многослойными сетями, имеющими сигмоидальные функции активации, они отличаются некоторыми специфическими свойствами, обеспечивающими более простое отображение характеристик моделируемого процесса.
Сигмоидальная сеть, в которой ненулевое значение сигмоидальной функции распространяется от некоторой точки в пространстве до бесконечности, решает задачу глобальной аппроксимации заданной функции. В то же время радиальная сеть, основанная на функциях, имеющих ненулевые значения только в определенной области вокруг их центров, реализует аппроксимацию локального типа, сфера которой, как правило, более ограничена. Поэтому необходимо понимать, что обобщающие способности радиальных сетей несколько хуже, чем у сигмоидальных сетей, особенно на границах области обучающих данных. Вследствие глобального характера сигмоидальной функции многослойные сети не обладают встроенным механизмом идентификации области данных, на который сильнее всего реагирует конкретный нейрон. Из-за физической невозможности связать зону активности нейрона с соответствующей областью обучающих данных для сигмоидальных сетей сложно определить исходную позицию процесса обучения. Принимая во внимание полимодальность целевой функции, достижение глобального минимума в такой ситуации становится чрезвычайно трудным даже при самых совершенных методах обучения.
Радиальные сети решают эту проблему гораздо лучше. Наиболее часто применяемые на практике радиальные функции гауссовского типа по своей природе имеют локальный характер и принимают ненулевые значения только в зоне вокруг определенного центра. Это позволяет легко установить зависимость между параметрами базисных функций и физическим размещением обучающих данных в многомерном пространстве. Поэтому удается относительно просто найти удовлетворительные начальные условия процесса обучения с учителем. Применение подобных алгоритмов обучения при начальных
условиях, близких к оптимальным, многократно увеличивает вероятность достижения успеха с помощью радиальных сетей.
Считается [85, 154], что радиальные сети лучше, чем сигмоидальные, решают такие классификационные задачи, как обнаружение повреждений в различных системах, распознавание образов и т.п. Применение радиальных сетей для прогнозирования таких сложных временных процессов, как ежемесячные колебания занятости трудоспособного населения в масштабах страны [8], экономические тренды и т.д., также дает неплохие результаты, сравнимые или даже лучшие, чем получаемые с использованием сигмоидальных сетей.
Важное достоинство радиальных сетей - значительно упрощенный алгоритм обучения. При наличии только одного скрытого слоя и тесной связи активности иейрона с соответствующей областью пространства обучающих данных точка начала обучения оказывается гораздо ближе к оптимальному решению, чем это имеет место в многослойных сетях. Кроме того, можно отделить этап подбора параметров базисных функций от подбора значений весов сети (гибридный алгоритм), что сильно упрощает и ускоряет процесс обучения. Выигрыш во времени становится еще большим, если принять во внимание процедуру формирования оптимальной (с точки зрения способности к обобщению) структуры сети. При использовании многослойных сетей это очень трудоемкая задача, требующая, как правило, многократного повторения обучения или дообучения. Для радиальных сетей, особенно основанных на ортогонализации, формирование оптимальной структуры сети оказывается естественным этапом процесса обучения, не требующим никаких дополнительных усилий.
