2.2.2.2. Правило для скрытого слоя

Как показано в предыдущем разделе, правило изменений весов связей для скрытого слоя в соответствии с методом наискорейшего спуска имеет вид:

Используя цепное правило, как и раньше, получим:

Зададим множитель 5. следующей формулой:

Из уравнения (2.2.4) получим:

и, таким образом,

Используя цепное правило, получим:

Заметим, что изменение величины влияет на все выходы , поэтому в приведенном выше цепном правиле требуется суммирование по к.

Используя выражения (2.2.11), (2.2.2), (2.2.3) и (2.2.5), получим:

Таким образом, получен следующий алгоритм изменения весов связей:

Чтобы повысить скорость обучения, не вызывая при этом колебаний в выходном сигнале, изменим уравнения (2.2.6) и (2.2.7), включив в них момент времени. Это можно сделать по следующему правилу:

где — время представления, — скорость обучения, а — константа, определяющая влияние предыдущего изменения весов на текущее направление движения в пространстве весов связей.

Рассматривая эти выражения с выражениями:

приходим к выводу, что изменение весов связей после одного полного цикла предъявления образов пропорционально вышеприведенной производной. Это означает, что алгоритм обратного распространения, действительно, обеспечивает наискорейшее уменьшение величины Е. Конечно, данный вывод является строгим только при условии, что величины весов связей не изменяются во время цикла.