3. Метод скорейшего спуска.

Кратко остановимся на методе скорейшего спуска. В этом методе решение системы (24) сводится к задаче отыскания минимумов функции которую можно построить различными способами, положив, например,

или

где элементы некоторой положительно определенной матрицы.

Если есть некоторое решение системы (24), то . В других точках Таким образом, каждый нулевой минимум функции даст решение системы (24) и отыскание решений системы (24) сводится к отысканию нулевых минимумов вспомогательной функции Метод скорейшего спуска отыскания последних заключается в следующем. Если известно примерное расположение нулевого минимума, то выбираем вектор близкий к а, вычисляем производные и в направлении вектора

проводим прямую

проходящую через точку в направлении вектора ортогонального к поверхности Определяем из условия минимума функции

Если то продолжаем процесс, исходя из и двигаясь в направлении вектора и снова на прямой отыскиваем точку, в которой

имеет минимальное значение. Если уже найдено приближение то находим из условия минимума функции

и полагаем

На каждом шаге придется решать уравнение

с одним неизвестным X, что может быть выполнено одним из описанных выше методбв.

Реализуя этот метод, мы на каждом шаге движемся в направлении быстрейшего убывания функции Если начальное приближение выбрано достаточно хорошо и в окрестности искомого решения а нет других минимумов, то этот процесс быстро даст искомое решение с заданной точностью. Если в окрестности а имеются другие минимумы, то при неудачном выборе процесс сойдется, но не приведет к искомому решению.

Применение метода скорейшего спуска на каждом шаге требует выполнения большой вычислительной работы. Поэтому, вместо того чтобы двигаться в направлении градиента можно двигаться из в направлении какого-либо другого вектора, не касательного к поверхности Проще всего брать векторы в направлении координатных осей. Так, в релаксационном методе, имея начальное приближение вычисляют производные и если наибольшая из них, то находят из условия

где вектор в направлении I-й координатной оси. Это равносильно уточнению I-й неизвестной при неизменных остальных.