5.17. Методы без вычисления производных

Мы сосредоточили свое внимание на градиентных методах, ибо доказано, что они являются наиболее быстрыми и надежными для большинства задач. Это неудивительно; точное знание составляющих

вектор-градиента целевой функции в любой точке сразу же предоставляет в наше распоряжение все сведения о направлениях спуска в этой точке. Чтобы проверить, принадлежит ли некоторое направление к данному классу, нам лишь необходимо выяснить, не образует ли оно тупой угол с направлением вектор-градиента. Как мы уже отмечали в предыдущем разделе, мы лишаемся этой возможности, если истинный градиент заменяется его аппроксимацией.

Тем не менее труд, связанный с дифференцированием уравнений модели, может оказаться иногда слишком обременительным, поэтому если для некоторых задач мы можем вычислить производные точно, то другие, возможно, большинство задач, можно решить, не прибегая к этим точным вычислениям. Ниже мы обсудим некоторые методы такого типа.