Основные принципы методов градиентного поиска

Для введения основных понятий методов градиентного поиска, в том числе понятия рекурсивного алгоритма и сходимости, рассмотрим сначала простейший случай, когда имеется только один весовой коэффициент.

Рис. 4.1. Иллюстрация процесса градиентного поиска для рабочей функции одной переменной

Для этого случая, имеющего ограниченное практическое значение, все методы градиентного поиска сводятся к одному.

График рабочей функции одного весового коэффициента (одной переменной), которая является параболой, показан на рис. 4.1. Как и в формуле (3.41), эта функция

Отметим, что для случая одной переменной собственное значение равно . Первая производная

Вторая производная

является постоянной для всей кривой.

Задача состоит в том, чтобы найти такой весовой коэффициент w, при котором минимизируется значение СКО. Полагая рабочую функцию неизвестной, начнем с произвольного значения и измерим наклон кривой в этой точке. Далее выберем новое значение равное начальному значению плюс приращение, пропорциональное наклону с обратным знаком. Затем при измерении наклона кривой в точке точно так же получается еще одно новое значение . Этот процесс повторяется до тех пор, пока не будет достигнуто оптимальное значение .

Значение, полученное измерением наклона кривой рабочей функции в расположенных с дискретными интервалами точках , называется градиентной оценкой. Метод проведения измерений и его точность обсуждается в гл. 5. Для задачи, рассматриваемой в этой главе, предположим, что имеется точное значение градиента. Отметим, что использование отрицательного градиента необходимо для «движения вниз» по кривой.