3.4. Градиентные алгоритмы обучения сети

3.4.1. Основные положения

Задачу обучения нейронной сети будем рассматривать на данном этапе как требование минимизировать априори определенную целевую функцию При таком подходе можно применять для обучения алгоритмы, которые в теории оптимизации считаются наиболее эффективными. К ним, без сомнения, относятся градиентные методы, чью основу составляет выявление градиента целевой функции. Они связаны с разложением целевой функции в ряд Тейлора в ближайшей окрестности точки имеющегося решения . В случае целевой функции от многих переменных такое представление связывается с окрестностью ранее определенной точки (в частности, при старте алгоритма это исходная точка ) в направлении Подобное разложение

описывается универсальной формулой вида [39,170]

где - это градиента, а симметричная квадратная матрица

является матрицей производных второго порядка, называемой гессианом.

В выражении играет роль направляющего вектора, зависящего от фактических значений вектора и». На практике чаще всего рассчитываются три первых члена ряда (3.29), а последующие просто игнорируются. При этом зависимость (3.29) может считаться квадратичным приближением целевой функции в ближайшей окрестности найденной точки и» с точностью, равной локальной погрешности отсеченной части где Для упрощения описания значения переменных, полученные в цикле, будем записывать с нижним индексом к. Точкой решения будем считать точку, в которой достигается минимум целевой функции а гессиан является положительно определенным [39, 42]. При выполнении этих условий функция в любой точке, лежащей в окрестности имеет большее значение, чем в точке поэтому точка является решением, соответствующим критерию минимизации целевой функции.

В процессе поиска минимального значения целевой функции направление поиска и шаг подбираются таким образом, чтобы для каждой очередной точки выполнялось условие Поиск минимума продолжается, пока норма градиента не упадет ниже априори заданного значения допустимой погрешности либо пока не будет превышено максимальное время вычислений (количество итераций).

Универсальный оптимизационный алгоритм обучения нейронной сети можно представить в следующем виде (будем считать, что начальное значение оптимизируемого вектора известно и составляет

1. Проверка сходимости и оптимальности текущего решения и». Если точка отвечает градиентным условиям остановки процесса - завершение вычислений. В противном случае перейти к

2. Определение вектора направления оптимизации для точки и».

3. Выбор величины шага в направлении при котором выполняется условие

4. Определение нового решения также соответствующих ему значений а если требуется - то и и возврат к