12.3. Гибридный алгоритм обучения нечетких сетей

Гибридный алгоритм применяется к обеим описанным выше сетевым структурам. Сеть Ванга-Менделя может при этом трактоваться как сеть TSK, в которой все параметры (кроме подлежащего уточнению тождественно равны нулю. Поэтому дальнейшие рассуждения будут касаться сети TSK как более общей, чем сеть Ванга-Менделя.

В гибридном алгоритме подлежащие адаптации параметры разделяются на две группы. Первая из них состоит из линейных параметров третьего слоя, а вторая группа - из параметров нелинейной функции принадлежности первого слоя. Уточнение параметров проводится в два этапа.

• На первом этапе при фиксации определенных значений параметров функции принадлежности (в первом цикле - это значения, полученные в результате инициализации) путем решения системы линейных уравнений

рассчитываются линейные параметры полинома TSK. При известных значениях функции принадлежности зависимость (12.6) можно представить в линейной форме

где

для . При обучающих выборках и замене выходного сигнала сети ожидаемым значением получим систему из линейных уравнений вида

где обозначает уровень активации (вес) условия правила при предъявлении входного вектора Это выражение можно записать в сокращенной матричной форме

Размерность матрицы А равна при этом обычно количество строк значительно больше количества столбцов Решение этой системы уравнений можно получить за один шаг при помощи псевдоинверсии матрицы А

Псевдоинверсия матрицы заключается в проведении декомпозиции SVD с последующим сокращением ее размерности так, как это представлено в разделе 5. Подробности вычислительной реализации алгоритма SVD можно найти, например, в работе Г. Голуба и К. ВанЛоана [42].

На втором этапе после фиксации значений линейных параметров рассчитываются фактические выходные сигналы сети для

для чего используется линейная зависимость

и следом за ними - вектор ошибки Сигналы ошибок направляются через подключенную сеть по направлению ко входу сети (обратное распространение) вплоть до первого слоя, где могут быть рассчитаны компоненты градиента целевой функции относительно конкретных параметров После формирования вектора градиента параметры уточняются с использованием одного из градиентных методов обучения. Если применяется простейший метод наискорейшего спуска, то соответствующие формулы адаптации принимают форму:

где обозначает номер очередной итерации.

После уточнения нелинейных параметров вновь запускается процесс адаптации линейных параметров функции TSK (первый этап) и нелинейных параметров (второй этап). Этот цикл повторяется вплоть до стабилизации всех параметров процесса. Формулы (12.15)-(12.17) требуют расчета градиента целевой функции относительно параметров функции принадлежности. Окончательный вид этих формул зависит как от используемого определения функции погрешности на выходе сети, так и от формы функции принадлежности. Например, при использовании обобщенной функции Гаусса

соответствующие формулы градиента целевой функции (12.8) для одной пары обучающих данных принимают вид

Производные определенные на основе зависимости (12.10) и (12.18), можно записать как

(см. скан)

для где обозначает дельту Кронекера, . Несмотря на сложную структуру приведенных формул, выражающих компоненты вектора градиента, они позволяют аналитически определить величины, необходимые для уточнения параметров нечеткой сети.

При практической реализации гибридного метода обучения нечетких сетей доминирующим фактором их адаптации считается первый этап, на котором веса подбираются с использованием псевдоинверсии за один шаг. Для

уравновешивания его влияния второй этап (подбор нелинейных параметров градиентным методом) многократно повторяется в каждом цикле.

Представленный гибридный алгоритм - один из наиболее эффективных способов обучения нечетких сетей. Его главная черта состоит в разделении процесса обучения на два обособленных во времени этапа. На каждом этапе уточняется только часть параметров сети. Если принять во внимание, что вычислительная сложность каждого алгоритма оптимизации пропорциональна (нелинейно) количеству параметров, то уменьшение размерности задачи оптимизации существенным образом сокращает количество математических операций и увеличивает скорость выполнения алгоритма. Благодаря этому гибридный алгоритм значительно более эффективен, чем обычный градиентный алгоритм фронтального типа, согласно которому уточнение всех параметров сети производится параллельно и одновременно.