3.4.3. Алгоритм переменной метрики
В методе переменной метрики используется квадратичное приближение функции 
в окрестности полученного решения и». Если в формуле (3.29) ограничиться тремя первыми слагаемыми, то получим: 
Для достижения минимума функции (3.33) требуется, чтобы 
При выполнении соответствующего дифференцирования можно получить условие оптимальности в виде
Элементарное преобразование этого выражения дает очевидное решение:
Формула (3.34) однозначно указывает направление 
которое гарантирует достижение минимального для данного шага значения целевой функции. Из него следует, что для определения этого направления необходимо в каждом цикле вычислять значение градиента 
и гессиана Н в точке известного (последнего) решения 
.
Формула (3.34), представляющая собой основу ньютоновского алгоритма оптимизации, является чисто теоретическим выражением, поскольку ее применение требует положительной определенности гессиана на каждом шаге, что в общем случае практически неосуществимо. По этой причине в имеющихся реализациях алгоритма, как правило, вместо точно определенного гессиана 
используется его приближение 
Одним из наиболее популярных считается метод переменной метрики [39,170]. В соответствии с этим методом на каждом шаге гессиан или обратная ему величина, полученная на предыдущем шаге, модифицируется на величину некоторой поправки. Если прирост вектора и» и градиента 
на двух последовательных шагах итерации обозначить соответственно 
т. е. 
а матрицу, обратную приближению гессиана 
обозначить V, то в соответствии с очень эффективной формулой Бройдена-Флетчера-Гольдфарба-Шенно (ант.: Broyden-Fletcher-Goldfarb-Shanno - BFGS) процесс уточнения значения матрицы V можно описать рекуррентной зависимостью [39]:
В другом известном алгоритме Девидона-Флетчера-Пауэлла (англ.: Davidon-Fletcher-Powell - DFP) значение гессиана уточняется согласно выражению [39]
В качестве начального значения обычно принимается 
а первая итерация проводится в соответствии с алгоритмом наискорейшего спуска. Как показано в [39, 170], при начальном значении 
и при использовании направленной минимизации на каждом шаге оптимизации можно обеспечить положительную определенность аппроксимированной матрицы гессиана. Направленная минимизация необходима при реализации как стратегии BFGS, так и DFP, причем в соответствии с проведенными тестами метод BFGS менее чувствителен к различным погрешностям вычислительного процесса. По этой причине, несмотря 
несколько большую вычислительную сложность, метод BFGS применяется чаще, чем DFP.
Метод переменной метрики характеризуется более быстрой сходимостью, чем метод наискорейшего спуска. Кроме того, факт положительной определенности гессиана на каждом шаге итерации придает уверенность в том, что выполнение условия 
действительно гарантирует решение проблемы оптимизации. Именно этот метод считается в настоящее время одним из наиболее эффективных способов оптимизации функции нескольких переменных. Его недостаток состоит в относительно большой вычислительной сложности (связанной с необходимостью расчета в каждом цикле 
элементов гессиана), а также в использовании значительных объемов памяти для хранения элементов гессиана, что в случае оптимизации функции с большим количеством переменных может стать серьезной проблемой. По этой причине метод переменной метрики применяется для не очень больших сетей. В частности, с использованием персонального компьютера была доказана его эффективность для сети, содержащей не более тысячи взвешенных связей.
