5.2. Итерационная процедура
Рассматриваёмые нами методы являются итерационными по своей природе. Мы начинаем с заданной точки
называемой начальным приближением, и получаем последовательность точек
которая, как мы надеемся, сходится к точке 0 минимума функции
Вычисление
будем называть
итерацией, а точку
приближением. На практике последовательный расчет точек заканчивается после конечного числа
итераций и 0 принимается в качестве приближения для 0. Вектор
называется
шагом. Нам хотелось бы, конечно, чтобы каждый шаг приближал нас к минимуму. Поскольку нам неизвестно положение минимума, непосредственно проверить выполнение этого условия невозможно. Однако можно считать, что
шаг привел к «улучшению» ситуации (в смысле приближения к минимуму функции
если не в пространстве 0, то уж по крайней мере в пространстве
, когда
где
Будем называть
шаг допустимым, если выполняется условие
Итерационный метод является допустимым, если все шаги, сделанные при его применении, оказываются допустимыми. Мы будем рассматривать только допустимые методы.
В основу всех этих методов положена следующая схема:
1) полагается
начальное приближение
должно быть выбрано заранее;
2) задается вектор
в направлении предлагаемого
шага;
3) выбирается скаляр
такой, что шаг
является допустимым, т. е. мы выполняем
итерацию по формуле
и требуем, чтобы значение
обеспечивало выполнение условия
4) проверяется критерий останова (см. раздел 5.15). Если он не выполнен, то
увеличивается на единицу и делается новый шаг. После выполнения условия останова значение
принимается за 0.
Различные методы, которые будут рассматриваться ниже, различаются лишь способами выбора
Эти величины будут в дальнейшем называться направлением шага и размером шага соответственно. Поскольку
не обязательно является единичным вектором,
оказывается, вообще говоря, лишь пропорциональным, но не обязательно равным длине шага в обычном смысле этого слова.