8.2. Оценка смещения МНК

В линейной регрессии оценка МНК является несмещенной оценкой. Это свойство не сохраняется для оценки МНК в нелинейной регрессии. Даже в простейшей нелинейной регрессии где независимы и одинаково распределены по нормальному закону, оценка МНК параметра а будет иметь смещение.

М. Бокс попытался [88] оценить величину смещения оценки МНК в нелинейной регрессии. Оценка МНК удовлетворяет матричному уравнению (система нормальных уравнений):

где матрица производных , а — оценка МНК. Разложим функцию регрессии в ряд Тейлора до членов второго порядка

где истинное значение параметра, матрица вторых производных Последнее выражение может

быть переписано в матричном виде

где

— составная матрица С учетом (8.10)

Матрицу производных также разложим в ряд Тейлора до линейных членов

Разность есть функция наблюдений и неизвестного параметра т. е. функция Приближенно она может быть аппроксимирована квадратичной функцией, т. е.

где

А — матрица матрица В формуле (8.13) отсутствует постоянный член, так как при Нас в дальнейшем будет интересовать математическое ожидание

Подставим (8.12) и (8.11) в (8.9), получим

где рассчитаны в точке Теперь подставим в полученное уравнение выражение (8.13):

Приравняем к нулю члены при откуда Теперь приравняем к нулю члены второго порядка

где матрица

Возьмем математическое ожидание от обеих частей (8.14). Можно показать, что поэтому

где

Выражая из уравнения (8.15), окончательно получаем

В формуле (8.16) значения матрицы и вектора могут быть приближенно заменены их значениями в точке — оценке МНК.

М. Бокс проверял формулу (8.16) методом Монте-Карло. Формула (8.16) давала хорошее приближение к истинному смещению оценки МНК.

В качестве иллюстрации формулы (8.16) рассмотрим нелинейную регрессию

где . Оценкой МНК для регрессии (8.17) является Найдем смещение оценки МНК непосредственно:

Но

Поэтому

т. е. смещение равно

Найдем смещение оценки МНК, используя формулу (8.16). Для регрессии (8.17)

поэтому Таким образом,

что совпадает с истинным смещением.

Упражнения 8.2.

(см. скан)