В (9.14) 
— положительно полуопределенная матрица. При 
реализуется метод Ньютона—Гаусса, при 
направление движения приближается к антиградиенту. Выбор и 
в большинстве модификаций (9.14) проводится из соображений монотонного убывания 
.
Матрица 
в большинстве компьютерных реализаций (9.14) выбирается диагональной, причем ее элементы совпадают с диагональными элементами матрицы 
.
Полезно иметь в виду следующий факт. Если опираться на линейную аппроксимацию (9.12), то при 
каждый шаг в методе Марквардта может быть истолкован как минимизация функции
Иными словами, в этом методе на каждом шаге проводится регуляризация исходной задачи.
Сходимость метода Ньютона—Гаусса и его модификаций изучалась, например, в [109,200, 237], различные комментарии и дополнительную библиографию можно найти в [145, 146, 25, 43]. Скорость сходимости в зависимости от условий, накладываемых на функции 
и способов выбора 
может быть линейной 
сверхлинейной 
или квадратичной 
. При плохо обусловленных матрицах наблюдается «раскачка» итерационного процесса, а если он и сходится, то его предельные точки меняются с изменением начального приближения 
. Наиболее распространенной причиной плохой обусловленности матриц 
является неудачный выбор режимов наблюдений X. Поэтому, сталкиваясь с плохо обусловленными матрицами 
экспериментатору следует попытаться в первую очередь разобраться в своих опытных данных, и, может быть, провести дополнительные наблюдения. Если же структура данных не может быть улучшена, то приходится обращаться к методам, которые менее чувствительны к виду матриц 
. Одним из наиболее широко применяемых является метод Марквардта:
