5.4. Оценки Хюбера, Андрюса и Рамсея

Каждой -оценке в случае оценивания параметра положения соответствуют две оценки: минимизирующая сумму (5.5) и минимизирующая сумму (5.2). Введение параметра масштаба о в случае -оценок не играет роли: обе оценки совпадают. Однако в других случаях это не так.

Для того чтобы полученные -оценки были робастными, необходимо, чтобы на интервале, содержащем 0, т. е. на интервале функция была близка к параболе (пропорциональна квадрату аргумента), а вне интервала скорость роста заметно снижалась и зависимость от х становилась меньше. Так, в функции Хюбера (5.3) на интервале совпадает с квадратичной функцией (скорость роста пропорциональна аргументу), а вне этого интервала — равна линейной функции (скорость роста постоянна). Значение с, т. е. то значение аргумента, при котором происходит уменьшение скорости роста исследователю неизвестно и его тоже приходится каким-либо образок оценивать. Если исследователь имеет представление о возможных отклонениях, то в качестве с можно выбрать критическое значение «нормального» отклонения, начиная с которого вклад в минимизируемую сумму должен измеряться не квадратичной, а менее чувствительной функцией. Если же априорное значение о возможных отклонениях отсутствует, то имеет смысл воспользоваться робастной оценкой с привлечением параметра масштаба о. Тогда отклонения измеряются в стандартных единицах. Используя о, можно, нагример, предложить следующее правило определения с. Пусть в функции с — значение аргумента, при котором квадратичность переходит в функцию меньшего роста. Полагаем с оценка о. Предложенное правило нагоминает известное правило «трех сигм».

Итак, пусть непрерывная, кусочно дифференцируемая, симметричная относительно нуля, возрастающая на функция, -оценкой назовем вектор, обращающий сумму

в минимум, где а — параметр масштаба, также подлежащий оцениванию. По сути дела, (5.11) определяет целый класс оценок; каждая оценка зависит от выбора функции Обозначим производную функцию Вместо минимизаций суммы (5.11) можно искать решение уравнений

Для оценивания о выберем простейшую статистику: равно медиане

При минимизации (5.11) в принципе можно воспользоваться общими методами минимизаций функций многих переменных (градиентный метод, метод Ньютона и др.). Однако нетрудно обобщить известный нам итеративный МНК и на более общий случай (5.12). Если же для функции подходы Флетчера — Гранта — Хеблена и Мудрова — Кушко совпадают, то для произвольной функции они приведут, вообще говоря, к разным итерационным процессам.

Итеративный МНК Флетчера — Гранта — Хеблена, Преобразуем уравнения (5.12) следующим образом:

где веса равны:

Итерации производятся так же, как в итеративном МНК.

Метод вариационно-взвешенных квадратических приближений Мудрова-Кушко. Функция (5.11) сводится к сумме квадратов отклонений:

Ясно, что в общем случае веса будут отличны друг от друга, что приведет и к разным итерационным процессам. Однако и в том и в другом случаях мы должны получить одинаковые пределы для оценок параметров. Легко проверить, что для

Рассмотрим робастные оценки ММП, обращающие сумму (5.11) в минимум для разных

Оценка Хюбера (5.3). Правило «трех сигм» предлагает с взять равным 3. Использование итеративного МНК Флетчера — Гранта — Хеблена для регрессии-примера не привело к оценке, процесс оказался расходящимся. С другой стороны, метод Мудрова — Кушко (вернее, его обобщение) сошелся уже на второй итерации. Полученные оценки мало отличаются от оценок МНК. Вектор оценок равен (0,395; 0,228; 3,75; — 17,12). Оценка параметра масштаба равна 1,33.

Оценка Андрюса [73]. Автор обобщает -оценку, введенную им для оценивания параметра положения на случай

регрессии. В качестве Андрюс предлагает следующую функцию (рис. 5.4):

Идея заключается в том, что на интервале функция близка к квадратичной, на интервалах скорость роста функции (5.15) уменьшается. Для вклад отклонений не зависит от их величины и равен Используя правило «трех сигм», найдем значение с. Робастные свойства функции (5.15) проявляются для значений причем в точках вторая производная (5.15) обращается в нуль. Таким образом, полагаем откуда Использование метода Мудрова — Кушко после пяти итераций в регрессии-примере привело к оценке (0,398; 0,212; 3,71; — 16,1), которая также незначительно отличается от оценки МНК.

Рис. 5.4. Функция Андрюса для

Оценка Рамсея [173] основана на функции

Легко показать, что при функция Рамсея переходит в квадратичную. Для малых значений функция (5.16) близка к функции При имеет асимптоту, равную Найдем значение у, используя правило «трех сигм». Для этого найдем вторую производную функции Рамсея и приравняем ее к нулю: откуда точки перегиба функции (5.16). Полагаем откуда После восьми итераций по методу Мудрова — Кушко для регрессии-примера была получена следующая оценка параметров: (0,404; 0,159; Все три функции привели к параметрам, мало отличающимся от оценок МНК. Это говорит о том, что в регрессии-примере нет ярко выраженных выбросов, поэтому оценка МНК вполне приемлема.