5.3.3. Гибридный алгоритм обучения радиальных сетей

В гибридном алгоритме процесс обучения разделяется на два этапа:

1) подбор линейных параметров сети (веса выходного слоя) при использовании метода псевдоинверсии;

2) адаптация нелинейных параметров радиальных функций (центра и ширины этих функций).

Оба этапа тесно переплетаются. При фиксации конкретных значений центров и ширины радиальных функций (в первый момент это будут начальные значения) за один шаг, с использованием декомпозиции подбираются величины линейных весов выходного слоя. Такая фиксация параметров радиальных функций позволяет определить значения самих функций для где - номер радиальной функции, а к — номер очередной обучающей пары Очередные возбуждения генерируют в скрытом слое сигналы, описываемые векторами где 1 обозначает единичный сигнал поляризации. Им сопутствует выходной сигнал сети причем вектор содержит веса выходного слоя, При наличии обучающих пар получаем систему уравнений

которую в векторном виде можно записать как

При использовании гибридного метода на этапе подбора выходных весов вектор у заменяется вектором ожидаемых значений и образованная при этом система уравнений решается за один шаг с использованием псевдоинверсии

В алгоритме расчета псевдоинверсии применяется декомпозиция позволяющая получить текущее значение вектора в соответствии с формулой (5.18).

На втором этапе при зафиксированных значениях выходных весов возбуждающие сигналы пропускаются по сети до выходного слоя, что позволяет рассчитать величину погрешности для последовательности лекторов Далее происходит возврат к скрытому слою (обратное распространение). По величине погрешности определяется вектор градиента «елевой функции относительно конкретных центров и ширины Для последующего изложения предположим, что используется модель сети типа HRBF с диагональной формой масштабирующей матрицы Это означает, что каждая радиальная функция определяется в бщем виде как

где суммарный сигнал нейрона описывается выражением

При существовании обучающих пар целевую функцию можно задать в виде

В результате дифференцирования этой функции получаем:

Применение градиентного метода наискорейшего спуска позволяет провести нение центров и ширины радиальных функций согласно формулам:

Уточнение нелинейных параметров радиальной функции завершает очередной цикл обучения. Многократное повторение обоих этапов ведет к полному и быстрому обучению сети, особенно когда начальные значения параметров радиальных функций близки к оптимальным.

На практике выделенные этапы в разной степени влияют на адаптацию параметров. Как правило, быстрее функционирует алгоритм SVD (он за один шаг находит локальный минимум функции). Для выравнивания этой диспропорции одно уточнение линейных параметров сопровождается обычно несколькими циклами адаптации нелинейных параметров.