3.3. Потоковые графы и их применение для генерации градиента

Знакомство с формулами для расчета градиента показывает, что они довольно сложны и неудобны для практического применения, особенно если сеть содержит более одного скрытого слоя. Поэтому представляется интересным, что на основе метода потоковых графов удается построить очень простые правила формирования компонентов градиента, которые имеют постоянную структуру, не зависящую от сложности сети. При этом базу таких правил составляют соотношения, полученные в результате анализа чувствительности сети методом сопряженных элементов. В теории систем [114] под полной чувствительностью объекта понимается производная любого циркулирующего в нем сигнала относительно значений весов, которая может быть рассчитана на основании знаний о сигналах, распространяющихся по обычному графу (обозначаемому и сопряженному с ним графу (обозначаемому Граф определяется как исходный граф в котором направленность всех дуг изменена на противоположную. Линейная дуга графа и соответствующая ей дуга сопряженного графа имеют идентичные описания. В случае нелинейной связи , где х - входной сигнал, а к — параметр, соответствующая ей дуга графа линеаризуется с коэффициентом о рассчитанным для фактического входного сигнала х графа

Как показано в работах [113, 114, 126], метод расчета чувствительности нейронной сети с использованием потоковых графов основан на анализе исходного графа и сопряженного с ним графа при возбуждении последнего единичным сигналом, подаваемым на вход (соответствующий выходу Чувствительность графа относительно параметров дуг этого графа к произвольному входному сигналу можно выразить следующим образом:

• для линейной дуги графа

где — это коэффициент усиления линейной дуги, направленной от узла к обозначает сигнал узла графа - сигнал узла сопряженного графа для которого в качестве входного сигнала задается значение ;

• для нелинейной дуги графа объединяющей узлы и описываемой функцией , чувствительность относительно параметра К определяется выражением

где рассчитывается для сигнала узла графа

Обозначим вектор оптимизированных параметров (весов ) системы, представленной графом - целевую функцию. Тогда градиент сокращенно обозначаемый как можно определить в виде

(в этом выражении для обозначения элементов вектора использован один индекс . Если представить целевую функцию в форме, учитывающей только одну обучающую выборку

где обозначено ожидаемое значение выходного нейрона, , то градиент целевой функции принимает вид:

в которой

Для задания вектора градиента также необходимы производные выходных сигналов графа относительно весов и(показатели их чувствительности), умноженные на величину погрешности Благодаря использованию методов теории графов все эти операции (в том числе и суммирование) можно выполнить за один шаг с помощью исходного графа и сопряженного с ним графа при соблюдении соответствующих условий возбуждения графа Как показано в [126], вследствие линейности сопряженного графа все эти операции могут быть реализованы автоматически в случае, когда в сопряженном графе вместо единичных возбуждений генерируются сигналы в виде разностей между фактическими и ожидаемыми значениями выходных сигналов. Способ формирования сопряженного графа и методика его возбуждения для автоматического расчета вектора градиента на основе анализа только двух графов и представлены на рис. 3.6. При замене всех единичных возбуждений в на любой компонент вектора градиента может быть рассчитан по соответствующим сигналам исходного графа и сопряженного с ним графа точно так же, как и при определении обычной

Рис. 3.6. Иллюстрация применения способа формирования и возбуждения сопряженного графа: а) исходный граф сопряженный граф

чувствительности. Для линейной дуги графа описываемой весом формула имеет вид:

Для нелинейной дуги графа описываемой функцией получаем:

Представленные выражения применимы для любых систем (линейных, нелинейных, рекуррентных и т.п.). Они практически применяются для анализа однонаправленных многослойных нейронных сетей, описываемых потоковым графом прохождения сигналов.

Рассмотрим изображенную на рис. 3.7а типовую многослойную сеть (состоящую из слоев) с произвольной непрерывной функцией активации нейронов. Количество нейронов в каждом слое будем обозначать причем последний слой является выходным слоем сети, содержащим нейронов. Выходные сигналы нейронов в конкретных слоях обозначим причем для последнего слоя .

(кликните для просмотра скана)

Для определения компонентов градиента относительно весов конкретных слоев сети будем применять формулировки, относящиеся к сопряженному графу. На рис 3.76 представлен сопряженный граф сети, изображенной на рис. 3.7 а, причем для унификации описания все сигналы в сопряженном графе обозначены символами с “крыжиком” . Сопряженный граф возбуждается разностями между фактическими и ожидаемыми значениями выходных сигналов. Нелинейные дуги графа заменяются в сопряженном графе производными значения которых рассчитываются раздельно для каждого слоя в точках Если, например, функция активации нейронов имеет сигмоидальную униполярную форму то рассчитывается непосредственно на основе известного значения сигмоидальной функции в точке х и не требует никаких дополнительных вычислений.

Опираясь на предложенный алгоритм определения градиента методами теории графов, можно рассчитать конкретные компоненты вектора градиента для любого слоя нейронов:

• для выходного слоя

• для скрытого слоя

• для первого скрытого слоя

Из приведенных формул видно, что их структуры (при использовании соответствующих обозначений сигналов) абсолютно идентичны независимо от того, в каком слое нейронов находится учитываемый вес. Сформулированное правило является чрезвычайно простым с прикладной точки зрения, поскольку для расчета любого компонента градиента необходимо знать только два сигнала: от узла, из которого исходит взвешенная дуга в оригинальном графе, и от узла, из которого исходит взвешенная дуга в сопряженном графе. В этом смысле правило расчета может считаться локальным.

Еще одним важным достоинством графического метода, помимо значительного упрощения вычислительных процедур, считается возможность учета равенства значений различных весов сети [114]. Если, например, вес со

значением относится к дуге соединяющей узлы (в направлении от j-го к i-му), и к дуге соединяющей узлы (в направлении от то легко заметить, что вес будет присутствовать в двух различных позициях выражения, определяющего целевую функцию. Согласно правилу дифференцирования составной функции ее производная представляется в виде суммы производных относительно Следовательно,

С учетом рассуждений относительно сопряженного графа при вводе унифицированных обозначений сигналов для любых узлов в виде с соответствующими индексами получаем окончательное выражение

Как следует из формулы (3.28), учет равенства отдельных весов не только не усложняет общую расчетную формулу, но, напротив, упрощает ее за счет уменьшения количества переменных. Необходимо отметить, что совпадающие веса (англ.: могут лежать как в одном и том же, так и в совершенно разных слоях. Сущность формулы (3.28) при этом совершенно не меняется. В этом заключается важнейшее отличне метода генерации градиента, основанного на потоковых графах распространения сигналов, от классического подхода, широко представленного в мировой литературе [46, 51].