5.5. Сравнение оценок методом статистических испытаний

Сравнение начнем с исследования свойств -оценок. В [176] исследована эффективность оценки, минимизирующей (5.7) для разных и разных распределений отклонений. Рассмотрено семь альтернативных распределений: равномерное, квадратный корень, треугольное , квадратное, нормальное, Лапласа, Коши. Результаты статистических испытаний представлены графически на (рис, 5.5). Анализ графиков а) — ж) показывает, что если распределение близко к равномерному, то более оптимальной будет оценка, соответствующая норме т. е. для которой

что приводит к критерию

где

Задача (5.17) сводится к задаче линейного программирования [192]. Для распределений с конечной дисперсией и легкими хвостами (типа нормального) наиболее эффективной будет оценка МНК . Для распределений с тяжелыми хвостами оптимальная оценка достигается для значений близких к 1, причем чем тяжелее хвост, тем ближе к 1. Вывод, к которому приходят авторы, следующий: оптимальный выбор зависит от распределения Нельзя заранее сказать, какое значение приведет к эффективной оценке. В случае выбросов хорошо зарекомендовала себя оценка, минимизирующая сумму абсолютных отклонений (5.8).

В работе [103] отклонения имеют смешанное нормальное распределение с плотностью

где параметр смеси; стандартное отклонение второй смеси; — математическое ожидание второй смеси. Если распределение будет асимметричным. Если то есть доля выбросов в распределении с плотностью В [103] оценка МНК для парной регрессии со свободным членом сравнивается с -оценкой для .

Рис. 5.5. Зависимость средних абсолютных отклонений оценок, минимизирующих от для. разных распределений: а) равномерное; б) квадратный корень; в) треугольное; г) квадратное; д) нормальное; е) Лапласа; ж) Коши

Величины относительных отклонений рассчитанные по методу Монте-Карло, приведены в табл. 5.3.

Приведенная таблица позволяет сделать следующие выводы:

1. Даже если распределение отклонений нормально, но загрязнено другим нормальным распределением с большей дисперсией или с не равным нулю, эффективность оценки МНК значительно падает.

Таблица 5.3 (см. скан)

2. Оценка соответствующая, например, в случае незагрязненного нормального распределения (идеальный случай), теряет лишь 5% эффективности по сравнению с оценкой МНК, зато для загрязненных распределений выигрыш по сравнению с оценкой МНК доходит до 50%.

Таким образом, оценка является хорошим компромиссом между классической оценкой МНК и робастными оценками.

В работе 1173] Дж. Рамсей методом Монте-Карло сравнивает эффективность различных методов оценивания парной регрессии Он рассмотрел три группы -оценок Хюбера: -оценки Рамсея , оценку Андрюса и -оценки . Отклонения регрессии были независимы с распределением, представляющим смесь нормальных распределений с параметром смеси Другими словами, распределение было равно где функция распределения же Значение выбиралось равным 5, 20 и 50, значение равным 0; 0,01; 0,05; 0,1; 0,25, значение а — равным 3 и 10. Основные выводы, к которым пришел автор, следующие:

а) оценки оказались неудовлетворительными из-за низкой эффективности для ;

б) оценка также оказалась неудовлетворительной из-за низкой эффективности при высоких значениях

в) оценки близки к оценке МНК, поэтому их нельзя считать в полной мере робастными; при высоких значениях их эффективность резко падала;

г) оценка оказалась слишком плохой в случае нормального распределения

д) оценки показали себя одинаково хорошо; их эффективность не падала слишком низко при больших значениях и была достаточно высоко для близких к нулю; однако почти во всех вариантах оценки были лучше

е) оценки оказались более устойчивыми по отношению к априорному распределению отклонений регрессии, т. е. более робастными по сравнению с оценкой Андрюса, однако оценка Андрюса более эффективна для нормального распределения

Таким образом, автор [173] заключает, что равномерно эффективными оценками оказались оценки оценка Андрюса и отчасти оценка В исследовании, проведенном Рамсеем, -оценки оказались в большинстве случаев хуже -оценок и оценки Андрюса.