5.2. Итерационная процедура
Рассматриваёмые нами методы являются итерационными по своей природе. Мы начинаем с заданной точки 
называемой начальным приближением, и получаем последовательность точек 
которая, как мы надеемся, сходится к точке 0 минимума функции 
Вычисление 
будем называть 
итерацией, а точку 
приближением. На практике последовательный расчет точек заканчивается после конечного числа 
итераций и 0 принимается в качестве приближения для 0. Вектор
называется 
шагом. Нам хотелось бы, конечно, чтобы каждый шаг приближал нас к минимуму. Поскольку нам неизвестно положение минимума, непосредственно проверить выполнение этого условия невозможно. Однако можно считать, что 
шаг привел к «улучшению» ситуации (в смысле приближения к минимуму функции 
если не в пространстве 0, то уж по крайней мере в пространстве 
, когда
где
Будем называть 
шаг допустимым, если выполняется условие 
Итерационный метод является допустимым, если все шаги, сделанные при его применении, оказываются допустимыми. Мы будем рассматривать только допустимые методы.
В основу всех этих методов положена следующая схема:
1) полагается 
начальное приближение 
должно быть выбрано заранее;
2) задается вектор 
в направлении предлагаемого 
шага;
3) выбирается скаляр 
такой, что шаг
является допустимым, т. е. мы выполняем 
итерацию по формуле
и требуем, чтобы значение 
обеспечивало выполнение условия 
4) проверяется критерий останова (см. раздел 5.15). Если он не выполнен, то 
увеличивается на единицу и делается новый шаг. После выполнения условия останова значение 
принимается за 0.
Различные методы, которые будут рассматриваться ниже, различаются лишь способами выбора 
Эти величины будут в дальнейшем называться направлением шага и размером шага соответственно. Поскольку 
не обязательно является единичным вектором, 
оказывается, вообще говоря, лишь пропорциональным, но не обязательно равным длине шага в обычном смысле этого слова.
