5.2. Итерационная процедура

Рассматриваёмые нами методы являются итерационными по своей природе. Мы начинаем с заданной точки называемой начальным приближением, и получаем последовательность точек которая, как мы надеемся, сходится к точке 0 минимума функции Вычисление будем называть итерацией, а точку приближением. На практике последовательный расчет точек заканчивается после конечного числа итераций и 0 принимается в качестве приближения для 0. Вектор

называется шагом. Нам хотелось бы, конечно, чтобы каждый шаг приближал нас к минимуму. Поскольку нам неизвестно положение минимума, непосредственно проверить выполнение этого условия невозможно. Однако можно считать, что шаг привел к «улучшению» ситуации (в смысле приближения к минимуму функции если не в пространстве 0, то уж по крайней мере в пространстве , когда

где

Будем называть шаг допустимым, если выполняется условие Итерационный метод является допустимым, если все шаги, сделанные при его применении, оказываются допустимыми. Мы будем рассматривать только допустимые методы.

В основу всех этих методов положена следующая схема:

1) полагается начальное приближение должно быть выбрано заранее;

2) задается вектор в направлении предлагаемого шага;

3) выбирается скаляр такой, что шаг

является допустимым, т. е. мы выполняем итерацию по формуле

и требуем, чтобы значение обеспечивало выполнение условия

4) проверяется критерий останова (см. раздел 5.15). Если он не выполнен, то увеличивается на единицу и делается новый шаг. После выполнения условия останова значение принимается за 0.

Различные методы, которые будут рассматриваться ниже, различаются лишь способами выбора Эти величины будут в дальнейшем называться направлением шага и размером шага соответственно. Поскольку не обязательно является единичным вектором, оказывается, вообще говоря, лишь пропорциональным, но не обязательно равным длине шага в обычном смысле этого слова.