§ 10.3. Условие оптимальности

Нейронная сеть может быть использована для построения моделей сложных нелинейных объектов, связь между входом и выходом которых описывается соотношением

где входная величина имеет размерность а выходная величина нелинейная вектор-функция и помеха измерений имеют размерность

Помеха измерений последовательность независимых, одинаково распределенных центрированных случайных векторных величин с плотностью распределения принадлежащей классу

Предположим, что существует неизвестный набор весовых коэффициентов нейронной сети

такой, что нелинейная функция в (10.3.1) может быть точно воспроизведена выходной величиной сети (10.2.7), т. е.

Наличие информации о плотности распределения помехи позволяет строить оптимальные алгоритмы настройки весовых параметров с нейронной сети, минимизирующие средние потери

где оптимальная на классе функция потерь,

— вектор невязки размерности Напомним, что здесь представляет собой наименее благоприятную плотность распределения из заданного класса

Необходимое условие, определяющее оптимальное решение имеет вид

В частном случае, когда нейронная сеть имеет скалярный выход, условие оптимальности (10.3.6) принимает более простой вид:

Из условия (10.3.6) следует, что для определения оптимального решения с необходимо вычислять либо градиент минимизируемого функционала либо градиент векторного выхода нейронной сети и градиент функционала по вектору невязки

Вычисление довольно эффективно проводится с помощью процедуры, известной как метод расчета в обратном направлении. Сущность этого метода заключается в том, что градиент минимизируемого функционала по вектору весовых коэффициентов нейронной сети рассматривается как набор градиентов по матрицам весовых коэффициентов отдельных слоев. При этом оказывается, что для вычисления градиента по матрице весов нижележащего слоя могут быть существенно использованы результаты расчета по матрице весов вышележащего слоя.

Это утверждение иллюстрируется блок-схемой на рис. 10-7, где вместе со структурой нейронной сети приведена структура вычисления текущего значения градиента минимизируемого функционала Для наглядности представления блок-схема приведена для трехслойной нейронной сети. Двойными прямоугольниками с

символами обозначены нелинейные блоки, преобразующие каждую компоненту вектора соответственно, по формулам

двойными окружностями с буквой блоки умножения векторов (вход — векторы выход — матрица двойными окружностями с буквой блоки покомпонентного умножения векторов (вход — векторы выход — вектор

Рис. 10.7

Для построения оптимальных алгоритмов настройки параметров нейронной сети нужно вычислять отдельно как градиент векторного выхода нейронной сети так и градиент функционала по вектору невязки Вычисление не представляет особых трудностей. Вычисление можно выполнить с помощью метода, близкого к методу расчета в обратном направлении. В этом модифицированном методе рассматривается как набор градиентов по векторам весовых коэффициентов соответствующих слоев. Можно показать, что выражение для градиента выхода сети по вектору весовых коэффициентов 1-го слоя представляется в виде -матрицы

Здесь диагональная -матрица, элементами которой являются компоненты вектора -матрица весовых коэффициентов слоя, а символ кронекеровского произведения матриц.

Из выражений (10.3.9) следует, что для вычисления могут быть существенно использованы результаты расчетов для слоя и что наиболее простой вид градиент принимает при

Рис. 10.8

На рис. 10.8 приведена структура вычисления текущего значения градиента выхода сети по векторам весовых коэффициентов отдельных слоев. Тройные стрелки обозначают матричный выход соответствующего элемента (выход нелинейного блока диагональная матрица из блок умножения входных матриц; блок кронекеровского умножения матриц. Как следует из рис. 10.8, структура вычисления во многом аналогична вычислениям градиента функционала.

Рис. 10.9

На рис. 10.9 приведена структура, аналогичная структуре на рис. 10.8, со скалярным выходом нейронной сети.