§ 10.4. Алгоритмы настройки нейронной сети
Возможность эффективного вычисления градиента выхода нейронной сети по вектору настраиваемых параметров с помощью описанной в предыдущем параграфе модифицированной процедуры позволяет воспользоваться полученными ранее результатами для формирования алгоритмов настройки параметров нейронной сети. Особенно просто можно это сделать при скалярном выходе нейронной сети. В этом случае условие оптимальности имеет вид (10.3.7). Задача настройки сети принципиально решается на основе приведенных в гл. 8 алгоритмов.
Оптимальный на классе алгоритм (8.6.5), (8.6.6) в этом случае принимает вид
Учитывая возможность акселернзации алгоритмов по аналогии с алгоритмами вида (8.8.14) — (8.8.16), получим
где 
Оптимальные на классе алгоритмы (10.4.1) — (10.4.4) настройки весовых параметров нейронных сетей относятся к классу аргументных алгоритмов, наилучшим образом оценивающих параметры сети с. В то же время, основное назначение нейронной сети заключается в наилучшем воспроизведении выхода идентифицируемого объекта, а этой цели служат критериальные алгоритмы. Но, как было показано в § 8.9, оптимальные на классе критериальные алгоритмы совпадают с оптимальными на классе аргументными алгоритмами (10.4.3), (10.4.4).
Применение приведенных выше алгоритмов весьма громоздко. Эта громоздкость вызвана необходимостью вычисления матрицы усиления 
Для устранения этих громоздких вычислений можно воспользоваться алгоритмами со скалярной матрицей усиления, которые аналогичны описанным в § 8.2 алгоритмам. Для нейронной сети со скалярным выходом они принимают вид, аналогичный (8.2.16):
где 
максимальное собственное число оценки нормированной информационной матрицы.
Однако вычисление 
осуществить не столь просто. Поэтому для нейронных сетей наиболее целесообразно использовать двухшаговые усредненные алгоритмы, описанные в § 8.3, а именно
где 
Обладая той же асимптотической скоростью сходимости, что и оптимальные на классе алгоритмы, эти алгоритмы соответствуют наиболее приемлемой реализации настройки нейронных сетей.
Рис. 10.10
Блок-схема алгоритма (10.4.6), (10.4.7) изображена на рис. 10.10. Блок 
представляет собой нейронную сеть, описываемую уравнением (10.2.5).
