7.2. Нелинейное оценивание

7.2.1. Общий подход

Графическое представление суммы квадратов особенно важно при исследовании новых задач оценивания, так как позволяет выявить любые специфические особенности ситуации. Когда появляется уверенность, что какие-нибудь  аномальные явления маловероятны, можно воспользоваться другими методами.

Мы видели, что в большинстве случаев оценки максимального правдоподобия хорошо приближаются оценками наименьших квадратов, которые минимизируют

.

На практике бесконечную сумму можно заменить более удобной конечной суммой .

В общем значительные упрощения при минимизации по  суммы  квадратов  происходят,  если  каждое  - линейная функция параметров . Покажем теперь, что линейность  имеет несколько различный смысл по отношению к параметрам авторегрессии  и параметрам скользящего среднего .

Для чистого процесса авторегрессии  и

.

Для  и , в то же время для  как , так и  являются функциями . Поэтому, если пренебречь эффектом «начальных значений»,  линейны относительно . Напротив, для чистого процесса скользящего среднего

,

так что  — всегда нелинейные функции параметров.

В разд. 7.3 мы увидим, что для процесса авторегрессии оценки наименьших квадратов и максимального правдоподобия существенно упрощаются. В данном разделе будет показано, как путем итеративного применения линейного метода наименьших квадратов можно найти оценки для любой модели АРСС.

Линеаризация модели. В дальнейшем символ  будет по-прежнему использоваться как общий символ для  параметров . Наша задача - минимизировать

.

Разлагая  в ряд Тейлора в окрестности точки, соответствующей предполагаемым значениям параметров , получаем приближенное выражение

,                                               (7.2.1)

где

и

.

Если  - матрица  размера , то  уравнений (7.2.1) можно представить в виде

,

где  и  — векторы-столбцы с  элементами. Поправка , минимизирующая , находится теперь линейным методом наименьших квадратов, т. е. регрессией  на . Поскольку  не точно линейная функция параметров , однократная поправка не обеспечит получение оценок наименьших квадратов. Поэтому полученные после первой поправки значения используются как новые предполагаемые значения, и процедура повторяется до получения сходящихся результатов. Сходимость оказывается более быстрой, если используются достаточно удачные начальные приближения, которые можно получить на этапе идентификации. Если начальные приближения неудачны, процесс вычисления параметров может оказаться расходящимся.