5.9. Метод Гаусса

В большинстве задач оценивания неизвестные параметры входят в целевую функцию лишь неявно. Но эта функция явно зависит от уравнений, задающих модель, которые, в свою очередь, зависят от параметров. Для расчета производных от целевой функции мы должны сначала продифференцировать ее по переменным модели, а затем продифференцировать эти уравнения модели по параметрам. В методе Гаусса 185], первоначально предложенном для решения задач минимизации остаточной суммы квадратов, вторые производные от уравнений модели, требуемые для вычисления матрицы Гессе, просто опускаются.

Проиллюстрируем этот метод на простом примере однооткликового нелинейного метода наименьших квадратов. Необходимо минимизировать

Дифференцируя по параметрам, получаем

и

В методе Гаусса мы пренебрегаем первым членом и вместо матрицы используем матрицу элементы которой определяются следующим образом:

В разделе 5.21 будет рассмотрен числовой пример, поясняющий эти операции.

В приведенных выше рассуждениях матрицу мы рассматривали как некоторое приближение к матрице а метод Гаусса — как аппроксимацию метода Ньютона. Однако можно дать другую интерпретацию этого метода. Допустим, что уравнения модели заменены уравнениями касательных плоскостей, т. е. нелинейная по параметрам О модель аппроксимирована линейной моделью. Если теперь для

решения задачи применить линейный метод наименьших квадратов, то окажется, что решение в точности равно В общем случае 0 уже не будет решением нелинейной задачи. Однако, если принять метод Гаусса может рассматриваться как метод, приводящий к решению последовательности линейных задач. Рассмотрение метода Гаусса в такой интерпретации будет продолжено в разделе 5.10.

Первый член уравнения которым пренебрегают в методе Гаусса, включает остатки Поскольку, как мы полагаем, такие остатки являются малыми, мы можем считать матрицу хорошим приближением к особенно вблизи точки минимума. Такие же соображения могут быть распространены на более общие случаи, в которых целевая функция зависит от параметров только через элементы матрицы моментов остатков К ним относится большинство вариантов метода наименьших квадратов и максимального правдоподобия для нормального распределения. Эти методы рассматривались в главе IV (см. например, выражения Во всех этих случаях имеем

где заданная функция.

После дифференцирования получаем

Далее, на основании и свойства симметрии матрицы приходим к выражению

После этого можно получить следующее выражение:

Как видно из этого результата, вторые производные от переменных модели всегда умножаются на остатки В то же время в методе

Гаусса опущены члены, включающие эти остатки. Следует члены, включающие также содержат остатки, и эти члены тоже опущены в методе Гаусса. В результате мы получаем следующее приближение для матрицы Гессе:

или, в матричной записи,

где матрицы и определяются так:

Применяя те же обозначения, из получаем выражение для градиента

В таблице 5.1 мы приводим формулы для расчета для случаев нормального распределения, рассмотренных в разделах Важным обстоятельством является то, что во всех случаях матрица оказывается положительно-определенной (или хотя бы полуопределениой). Из равенства следует, что также являются положительно-определенными. В частности, это справедливо для случая однооткликового метода наименьших квадратов Применение метода Гаусса к целевой функции вида будет проиллюстрировано в разделе 5.23.

Таблица 5.1 (см. скан) Логарифмы некоторых функций правдоподобия и их производные

Если в качестве целевой функции выступает апостериорная плотность распределения вероятностей (см., например, равенства или то метод Гаусса все же может быть применен для аппроксимации матрицы Гессе для логарифма функции правдоподобия, к которой должна быть добавлена истинная матрица Гессе логарифма априорной плотности. Вычисление последней чаще всего не представляет трудности. Например, если нормальная плотность распределения с ковариационной матрицей V, то матрица Гессе для равна просто Числовой пример приводится в разделе 5.22.