7.6. Сведение нелинейной регрессии к линейной

Иногда некоторым преобразованием функцию регрессии можно свести к линейной относительно параметров. В дальнейшем регрессию (7.2) будем называть сводящейся к линейной (квазилинейной [148]), если существует такая функция действительного переменного что

где некоторые константы. Так, для регрессии логарифмическая функция. Формально производя преобразование над регрессией (7.2), получим редуцированную регрессию:

Применяя обычный МНК к регрессии (7.38), получим начальное приближение для оценки МНК исходной регрессии

где матрица вектор и . Чем «менее аддитивна» функция тем более заметно будет различие между оценкой и оценкой МНК, минимизирующей

Различие между и а может быть уменьшено следующим способом. Произведем над обеими частями нелинейной регрессии (7.2) преобразование Разложим функцию в ряд Тейлора до линейных членов в окрестности Тогда

где лежит между Допустим, хорошо аппроксимирует выборку тогда и (7.40) переписывается следующим образом:

Очевидно, Если независимы, то таковыми будут и Регрессия (7.41) является гетероскедастичной, что ведет к оценке Эйткена

где диагональная матрица с элементом на диагонали (см. параграф 2.1). Оценка Эйткена может быть найдена и без применения формулы (7.42). Для этого обе части уравнения (7.41) необходимо разделить на и применить МНК. Описанная процедура для некоторого частного случая предложена С. А. Айвазяном [1, с. 172— 177]. В более общем случае она рассмотрена в [148]. Как показывает практика, оценка (7.42) является лучшим приближением к оценке МНК, чем (7.39).

Вернемся к регрессиям, линейным в логарифмах. Как следует из вышеизложенного, есть оценка МНК регрессии

минимизирующая

Оценка минимизирует

Сравнивая (7.43) и (7.44), можно утверждать, что ориентируется по сравнению с больше на наблюдения с малыми значениями чем с большими. Для конкретности будем считать, что наблюдения во времени, причем Тогда регрессия будет смещена в прошлое, так как наблюдения для малых входят в (7.44) по сравнению с (7.43) с большим весом. Регрессия как видно из рисунка, лучше аппроксимирует данные для малых значений тогда как дает равномерное приближение (рис. 7.5).

До сих пор предполагалось, что отклонения аддитивны в регрессии, линейной в логарифмах, т. е.

В этом случае оценка логарифмированной регрессии будет иметь систематическое смещение в сторону малых Однако если регрессию специфицировать по-другому, то оценка будет оптимальной.

Рис. 7.5. Смещение регрессии в прошлое

Это произойдет, если отклонения входят в модель мультипликативно:

Тогда (7.46) эквивалентна линейной регрессии и оценка обладает всеми присущими ей оптимальными свойствами (по теореме 1.2 оценка будет хуже оценки ). Таким образом, вопрос о выборе оценок или упирается в выбор спецификации с аддитивной или мультипликативной ошибкой. Разумеется, спецификация регрессии остается за исследователем, однако при выборе (7.45) или (7.46) могут помочь следующие рассуждения. Допустим, исследователь выбрал модель с мультипликативной ошибкой (7.46). Тогда

Последнее уравнение означает, что в записи (7.46) близкой к постоянной оказывается относительная ошибка, а в модели (7.45) по определению постоянной является абсолютная ошибка. Таким образом, если исследователь считает, что дисперсия отклонений не будет расти с ростом то необходимо выбрать модель с аддитивной ошибкой. Если предполагается, что дисперсия отклонений растет вместе с ростом предпочтительнее выбрать модель (7.46).

Вопросу выбора мультипликативной или аддитивной ошибки в статистической литературе посвящено несколько работ. В [112] рассматривается регрессия, линейная в логарифмах, одновременно с аддитивной и мультипликативной ошибками

где Оба отклонения считаются нормально распределенными. Критерий отношения правдоподобия (см. параграф 1.9) приводит к решению задачи о проверке гипотез Однако описанный подход при выборе конкурирующих моделей весьма сложен с точки зрения вычислений. При выборе спецификаций регрессии (7.47) в [151] предлагается использовать -преобразование Бокса-Кокса [89]:

Применив -преобразование к нелинейной регрессии, получим

где — отклонение; Допустим, имеет нормальное распределение, тогда, применяя метод максимального правдоподобия, можно найти оценку для а и . Легко проверить, что если то исходная модель имеет мультипликативную ошибку, если то — аддитивную.

Упражнения 7.6.

(см. скан)