6.2.1. Структура и особенности обучения сети

Для упрощения структуры сети и уменьшения ее вычислительной сложности разложение Вольтерри (6.3) можно представить в следующей форме:

где используются обозначения и т.д. Каждое слагаемое в квадратных скобках представляет собой линейный фильтр первого порядка, в котором соответствующие веса представляют импульсную реакцию другого линейного фильтра следующего уровня. Количество уровней, на которых создаются фильтры, равно порядку К. На рис. 6.5 показано распространение сигналов по сети, реализующей зависимость (6.8), при ограничении Система представляет собой структуру типичной многослойной однонаправленной динамической нейронной сети. Это сеть с полиномиальной нелинейностью. Подбор весов производится

Рис. 6.5. (см. скан) Граф сети Вольтерри

последовательно слой за слоем, причем эти процессы независимы друг от лруга, и, следовательно, увеличение как количества весов в слое, так и количества самих слоев в сети в незначительной степени сказывается на обусловленности задачи. Это дает возможность существенно увеличить длину и порядок К системы при ее практической реализации. Обучение нейронной сети, структура которой изображена на рис. 6.5, лучше всего проводить с использованием технологии сопряженных графов, представленной в разделе 3.

Рис. 6.6. (см. скан) Сопряженный граф сети Вольтерри

Сопряженный граф для сети, представленной на рис. 6.5, строится без особого труда. После его создания можно получить достаточно простые формулы, определяющие компоненты вектора градиента, составляющие основу процесса обучения. Сопряженный граф сети изображен на рис. 6.6. В соответствии с обозначениями, принятыми на этих рисунках, возбуждением сопряженного графа служит разностный сигнал где обозначает ожидаемое, а — фактическое значение в выходном узле системы в момент Принимая во внимание выражение (3.22), определяющее компоненты градиента, на основе

исходного и сопряжённого с ним графа можно простым образом вывести конкретные компоненты этого вектора. В частности,

В приведенных формулах сигналы, обозначенные символом соответствуют сопряженному, а остальные - исходному графу системы. После определения конкретных компонентов градиента обучение сети с применением оптимизационного метода наискорейшего спуска может быть сведено к решению системы дифференциальных уравнений:

где обозначен коэффициент обучения. Важным достоинством метода сопряженных графов считается простота учета равных значений весов в различных ветвях сети. Легко заметить, что симметрия ядер Вольтерри приводит к равенству весов для всех перестановок индексов Это означает, что в случае двухиндексных весов наблюдается равенство а в случае трехиндексных весов Подобное соотношение, только еще более громоздкое, относится к четырехиндексным, пятииндексным и т.д. весам. Анализ обозначений весов сети, изображенной на рис. 6.5, позволяет легко найти веса, которые должны иметь одни и те же значения. После расчета градиента относительно таких весов следует обратить внимание, что они присутствуют на различных позициях дифференцируемого выражения. При использовании правила суперпозиции дифференцирования такой функции можно заметить, что расчет градиента потребует повторения операции дифференцирования относительно всех ветвей сети, описанных общим

весом, с последующим суммированием отдельных компонентов. С учетом симметрии ядер Вольтерри выражения, описывающие компоненты градиента относительно весов и т.д., могут быть, определенным образом модифицированы по сравнению с введенными ранее формулами. Их можно представить в виде (см. формулу 3.28)

При использовании ядер Вольтерри высших порядков будет действовать аналогичное правило, обусловленное существованием ветвей, которые вписываются весами с одинаковыми значениями. Выделение соответствующих компонентов градиента позволяет реализовать процесс оптимизации путем сведения его к решению системы дифференциальных уравнений, описываемых формулами (6.13) - (6.16).