5.3. Методы обучения радиальных нейронных сетей

Введенные в предыдущем подразделе методы подбора весов выходного слоя радиальной сети RBF были основаны на предположении, что параметры самих базисных функций известны, в связи с чем матрицы Грина считаются определенными, и, следовательно, задача сводится к решению избыточной системы линейных уравнений вида (5.9). Практически такой подход

возможен только в абсолютно нереальном случае при при котором центры известны заранее, а значение параметра о; можно легко подобрать экспериментальным путем при соблюдении определенного компромисса между монотонностью и точностью отображения. действительности всегда поэтому процесс обучения сети RBF с учетом выбранного типа радиальной базисной функции сводится:

• к подбору центров и параметров формы базисных функций;

• к подбору весов нейронов выходного слоя.

При этом проблема уточнения весов нейронов выходного слоя значительно упрощается. В соответствии с формулой (5.10) вектор весов может быть определен за один шаг псевдоинверсией матрицы Матрица имеющая строк и К столбцов, представляет реакции нейронов скрытого слоя на очередные возбуждения векторами Практически псевдоинверсия матрицы рассчитывается с использованием разложения по собственным значениям, в соответствии с которым

Матрицы и V ортогональны и имеют размерности и соответственно, тогда как - это псевдодиагональная матрица с размерностью При этом а диагональные элементы Допустим, что только первых элементов имеют значимую величину, а остальными можно пренебречь. Тоща количество столбцов ортогональных матриц и V может быть уменьшено до Полученные таким образом редуцированные матрицы имеют вид:

а матрица становится полностью диагональной (квадратной). Эту матрицу описывает зависимость (5.15) в форме

Псевдообратная к матрица определяется в этом случае выражением

в котором а вектор весов сети, подвергающейся обучению, задается формулой

Достоинство формулы (5.18) - ее простота. Выходные веса сети подбираются за один шаг простым перемножением соответствующих матриц, при этом некоторые из них ортогональные и по своей природе хорошо упорядочены (коэффициент порядка равен 1).

Принимая во внимание решение (5.18), определяющее значения весов выходного слоя, главной проблемой обучения радиальных сетей остается подбор параметров нелинейных радиальных функций, особенно центров

Одним из простейших, хотя и не самым эффективным, способом определения параметров базисных функций, считается случайный выбор. В этом решении центры а базисных функций выбираются случайным образом на основе равномерного распределения. Такой подход допустим применительно к классическим радиальным сетям при условии, что равномерное распределение обучающих данных хорошо соответствует специфике задачи. При выборе гауссовской формы радиальной функции задается значение стандартного отклонения зависящее от разброса выбранных случайным образом центров

для где обозначает максимальное расстояние между центрами Из выражения (5.19) следует, что стандартное отклонение гауссовской функции, характеризующее ширину кривой, устанавливается при случайном выборе равным и постоянно для всех базисных функций. Ширина функции пропорциональна максимальному разбросу центров и уменьшается с ростом количества.

Среди многих специализированных методов подбора центров рассмотрим наиболее важных: самоорганизующийся процесс разделения на кластеры, гибридный алгоритм и обучение с учителем.