6.9. Сравнение оценок методом статистических испытаний

Рассмотрим результаты исследования, проведенного Дж. Вебстером, Р. Гунстом и Р. Мазоном [117], по выявлению предпочтительной оценки из 5 оценок: МНК, оценки метода главных компонент, ридж-оценки, редуцированной оценки и оценки Хокинса. Сравнение проводилось на основе метода статистических испытаний (метода Монте-Карло). При этом варьировались три характеристики: 1) ориентация неизвестного вектора по отношению к характеристическим векторам матрицы плана относительная длина вектора т. е. степень мультиколлинеарности. Во всех расчетах значение было равно Матрица выбиралась двумя способами: в первом способе столбцы матрицы были почти ортогональны (отсутствие, мультиколлинеарности), во втором — первый столбец представлял собой с небольшими отклонениями линейную комбинацию второго, третьего и четвертого (наличие мультиколлинеарности). Длина «истинного» вектора во всех расчетах была равна 1, при этом принимало четыре значения, так что . Вектор принимал три значения: косинус угла между поэтому был равен 0; 0,5 и 1 соответственно. Таким образом, имелось варианта. Для каждого варианта проводилось 100 испытаний, на основе которых вычислялась средняя сумма квадратов ошибок, деленная на т. е. В ридж-оценке значение выбиралось равным представителем редуцированной оценки была выбрана оценка Джеймса-Стейна. В «почти ортогональной» модели для оценки метода главных компонент считалось в случае мультиколлинеарности т. е. равно нулю.

Очевидно, в почти ортогональной модели оценка МНК совпадает с оценкой главных компонент и оценкой Хокинса. Во всех вариантах наилучшей оценкой в «почти ортогональной» модели оказалась ридж-оценка. Наиболее заметное преимущество эта оценка (по сравнению с оценками

имела в случае небольших значений для предельного все оценки привели приблизительно к одной и той же ССКО. Оценка Джеймса-Стейна была немного хуже ридж-оценки, но опять же намного лучше оценок для Полученный результат можно было предсказать из теоретических соображений: для ортогональных моделей оценка Джеймса-Стейна имеет ССКО меньшую, чем оценка МНК, для всех Ридж-оценка есть частный случай редуцированной оценки.

В случае мультиколлинеарности положение несколько изменилось. Во-первых, оценка Хокинса во всех расчетах имела сходные свойства с оценкой метода главных компонент, поэтому будем говорить только о последней. Во-вторых, оценка Джеймса-Стейна была лишь немногим лучше оценки МНК во всех ситуациях. Оценка метода главных компонент и оценка Хокинса имели наименьшую ССКО в случае В то же время в наихудшем для них варианте отношение их ССКО к ССКО оценки МНК было приблизительно равно 40.

Ридж-оценка давала не такое низкое значение ССКО для как оценки зато для экстремальной ситуации этой оценки была не намного выше оценки МНК. Это позволяет сделать вывод: предпочтительнее пользоваться ридж-оценкой если мультиколлинеарности нет, ее ССКО практически совпадает с ССКО оценки МНК, в случае мультиколлинеарности, исключая экстремальные ситуации, она значительно лучше оценки МНК. Есть еще одно обстоятельство, которое заставляет смотреть на предпочтение оценок в случае с определенной осторожностью. Известно, что в приведенном эксперименте существовала только одна приближенная линейная зависимость поэтому значение было известно. На практике неизвестно, сколько зависимостей существует между столбцами матрицы Допуская ошибки в определении мы тем самым можем резко повысить ССКО для оценки метода главных компонент и оценки Хокинса. К тому же авторы исследования использовали не лучший вариант выбора (см. параграф 6.5).

Р. Гунст, Дж. Вебстер и Р. Мазон [117] сравнили также эффективность оценивания отдельных параметров. В качестве первого параметра был выбран — параметр при переменной, которая «завязана» в мультиколлинеарность, и

при переменной, которая не «завязана» в мультиколлинеарность. Сравнение проводилось по величине

одна из пяти рассматриваемых оценок. Оказалось, что при оценивании ситуация остается такой же, как и при использовании в качестве критерия ССКО. При оценивании все пять методов мало отличаются друг от друга. Полученный вывод весьма ценен: задаваясь целью хорошо оценить параметры, «завязанные» в мультиколлинеарность, мы тем самым оцениванием остальные параметры не хуже, чем методом наименьших квадратов.

Можно прийти к выводу, что наиболее предпочтительна ридж-оценка.

Исследование, проведенное в [134], специально посвящено сравнению оценки МНК и ридж-оценок. Авторы рассмотрели три регрессии. Значения в них были соответственно равны 13 и 4, 13 и 10, 50 и 17. В экспериментах варьировались значения Для первых двух регрессий было рассмотрено 342 варианта, для третьей — 180. Для каждого варианта моделировались случайные отклонения распределенные по нормальному закону Значение в ридж-оценке вычислялось по формуле Выводы, к которым пришли авторы, сводятся к следующему:

1) ридж-оценка была лучше оценки МНК в более чем 50% всех вариантов;

2) число вариантов, в которых ридж-оценка лучше оценки МНК, увеличивалось с ростом

3) процент предпочтения ридж-оценки увеличивался также при увеличении разброса спектра матрицы т. е. при усилении мультиколлинеарности;

4) процент предпочтения ридж-оценки возрастал также с ростом величины

Выявлением эффективных оценок методом Монте-Карло занимались А. Демпстер, Шатзофф и Вермут [94]. В первой группе проведенных ими экспериментов мультиколлинеарность отсутствовала (32 варианта), во второй группе — мультиколлинеарность присутствовала (128 вариантов). Было исследовано 57 методов оценивания: ридж-оценки, оценки метода главных компонент, редуцированные оценки, оценки метода автоматического отсева

переменных и многие другие. В качестве критерия выбиралась средняя сумма квадратов ошибок. Не вдаваясь в подробности проведения экспериментов, сразу перейдем к основным выводам, полученным в ходе исследования:

1) обычный МНК в некоторых случаях оказался хуже тривиальной оценки, когда все координаты считались равными нулю. МНК занял одно из последних мест;

2) наиболее эффективной оказалась ридж-оценка;

3) редуцированные оценки, представителем которых была модифицированная оценка Джеймса-Стейна, также зарекомендовали себя относительно хорошо.

Как видим, авторы исследований по сравнению эффективностей методов оценок параметров регрессий в условиях мультиколлинеарности, рассмотренных в этой главе, приходят к общему выводу: ридж-оценка является одной из наиболее эффективных.

При применении ридж-оценок сталкиваются с трудностью выбора параметра регуляризации Как правило, наиболее аргументированные методы выбора этого параметра приводят к тому, что он становится стохастическим, поэтому аналитическое исследование статистических свойств оценки затруднительно. Метод Монте-Карло оказывает здесь неоценимую услугу.