9.4 Метод Ньютона-Гаусса и его модификации

9.4.1. Общая схема метода.

Заметно более простым по сравнению с предыдущим методом является метод Ньютона—Гаусса, в котором матрица . Практика показывает, что именно для регрессионных задач его эффективность такая же, как и метода Ньютона.

К итерационной процедуре Ньютона—Гаусса

можно прийти из следующих соображений. Для достаточно гладких функций в окрестности точки 06. можно полагаться на простейшую аппроксимацию

Полагая приходим к необходимости минимизации (см. (9.2)) функции

При исследовании этой задачи в гл. 7 показано, что минимум достигается при Отсюда следует, что

Для линейного случая решение достигается за один шаг. При нелинейной параметризации процедура повторяется:

Именно эта процедура и носит название метода Ньютона— Гаусса.

Для рассматриваемой экстремальной задачи метод Ньютона—Гаусса близок методу Ньютона. При линейной параметризации они совпадают. Их близость при малых вторых производных очевидна. Имеется и более глубокая причина их близости. Действительно, при и некоторых не слишком ограничительных предположениях в силу закона больших чисел имеем следующую сходимость (с вероятностью единица)

где — истинные значения искомых параметров.