Если 
то продолжаем процесс, исходя из 
и двигаясь в направлении вектора 
и снова на прямой 
отыскиваем точку, в которой
имеет минимальное значение. Если уже найдено 
приближение 
то находим из условия минимума функции
и полагаем
На каждом шаге придется решать уравнение
с одним неизвестным X, что может быть выполнено одним из описанных выше методбв.
Реализуя этот метод, мы на каждом шаге движемся в направлении быстрейшего убывания функции 
Если начальное приближение выбрано достаточно хорошо и в окрестности искомого решения а нет других минимумов, то этот процесс быстро даст искомое решение с заданной точностью. Если в окрестности а имеются другие минимумы, то при неудачном выборе 
процесс сойдется, но не приведет к искомому решению.
Применение метода скорейшего спуска на каждом шаге требует выполнения большой вычислительной работы. Поэтому, вместо того чтобы двигаться в направлении градиента 
можно двигаться из в направлении какого-либо другого вектора, не касательного к поверхности 
Проще всего брать векторы в направлении координатных осей. Так, в релаксационном методе, имея начальное приближение 
вычисляют производные 
и если 
наибольшая из них, то 
находят из условия
где 
вектор в направлении I-й координатной оси. Это равносильно уточнению I-й неизвестной при неизменных остальных.
которую можно построить различными способами, положив, например,
элементы некоторой положительно определенной матрицы.
есть некоторое решение системы (24), то 
. В других точках 
Таким образом, каждый нулевой минимум функции 
даст решение системы (24) и отыскание решений системы (24) сводится к отысканию нулевых минимумов вспомогательной функции 
Метод скорейшего спуска отыскания последних заключается в следующем. Если известно примерное расположение нулевого минимума, то выбираем вектор 
близкий к а, вычисляем производные 
и в направлении вектора
в направлении вектора 
ортогонального к поверхности 
Определяем 
из условия минимума функции
