10.1. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ В НЕЛИНЕЙНОМ СЛУЧАЕ

Стандартные обозначения в задачах нелинейного МНК-оценивания отличаются от обозначений, используемых в задачах с использованием линейного МНК. Поначалу это может смущать читателя, но такие обозначения прочно утвердились в литературе. Различия между обозначениями отражены ниже, в табл. 10.1.

Таблица 10.1 Стандартные обозначения для линейного и нелинейного методов наименьших квадратов

Предположим, что постулированная модель имеет форму

Если ввести обозначения

то уравнение (10.1.1) можно записать в виде

или

если мы предполагаем, что Относительно ошибок принимаются обычные предположения, что они не коррелированы, что и, как обычно, что а значит, они и независимы. Если имеется наблюдений в виде

для то можно записать модель в другой форме:

где есть ошибка в опыте с номером

Это выражение можно записать более кратко:

Предположение о нормальности и независимости ошибок может быть выражено так: где и, как обычно, 0 — нулевой вектор, единичная матрица соответствующей размерности.

Запишем теперь сумму квадратов ошибок для нелинейной модели:

Поскольку и фиксированы, сумма квадратов есть функция от 0. Будем обозначать буквой 0 МНК-оценку вектора 0, т. е. такую

величину , которая минимизирует (Можно показать, что если то МНК-оценка становится также оценкой максимального правдоподобия для данного вектора: функцию правдоподобия для такой задачи можно записать в виде

так что если известна, то максимизация по отношению к эквивалентна минимизации по отношению к (0).

Чтобы найти МНК-оценку , мы должны продифференцировать (10.1.5) по . Это дает нормальных уравнений относительно :

где величина, заключенная в квадратные скобки, есть производная от условии, что в этом выражении вектор заменен на вектор . Напомним, что если бы функция была линейной (по параметрам), то эта производная была бы функцией только от и вовсе не зависела бы от . Так, например, если

то

т. е. производные не зависят от вектора . Это приводит, как мы уже видели в предыдущих главах, к линейным нормальным уравнениям относительно Для нелинейной по параметрам модели также будут получены нормальные уравнения. Проиллюстрируем это на сравнительно простом примере, когда оценивается только один параметр.

Пример. Пусть нужно получить нормальное уравнение для отыскания МНК-оценки параметра модели где Допустим, что имеется пар наблюдений: Находим

Применяя соотношение (10.1.6), приходим к единственному нормальному уравнению

или

Мы видим, что даже в случае одного параметра и сравнительно простой нелинейной модели отыскание оценки путем решения всего

лишь одного нормального уравнения оказывается вовсе не такой уж легкой задачей. Если же параметров несколько и модель становится более сложной, то решение нормальных уравнений может превратиться в чрезвычайно трудную задачу. Для ее решения, как правило, приходится применять итеративные методы. Эти трудности усугубляются еще и тем, что может существовать множество решений, соответствующих множеству стационарных значений функции Теперь мы обсудим методы, которые используются для оценивания параметров в нелинейных системах.