6.14. РОБАСТНАЯ (УСТОЙЧИВАЯ) РЕГРЕССИЯ

Если мы строим МНК-регрессию, используя наблюдений, в виде -параметрической модели то мы принимаем определенные идеализированные предположения о векторе ошибок а именно считаем, что они распределены согласно На практике отклонения от этих предположений имеют место. Если такие отклонения существенны, то можно надеяться опознать их по поведению остатков и затем подходящим образом скорректировать модель и/или метрику переменных. Часто отклонения, если они имеют место вообще, не слишком серьезны, чтобы осуществлять коррекцию, тогда анализ проводится обычным путем.

Определенные типы отклонений от идеализированных предположений выдвигаются как наиболее вероятные чаще, чем другие. Распределение случайных ошибок может быть симметричным, но не быть нормальным. Оно может быть «более заостренное», чем нормальное, и с «более легкими хвостами» или «менее заостренное», чем нормальное, и с «более тяжелыми хвостами». Или, даже если распределение нормальное, данные могут содержать выбросы, т. е. наблюдения, некоторые нетипичны для обычного нормального распределения, возможно, из-за того, что они имеют другое среднее, или потому, что они принадлежат к нормальному распределению, но со значительно большей дисперсией, чем

Разработаны рекомендации, как бороться с теми или другими возможными недостатками. Вместо МНК-процедуры предлагается

использовать методы построения робастной регрессии. Основное достоинство, приписываемое этим методам, состоит в том, что они менее чувствительны, нежели обычный к типичным отклонениям от принятых предположений, которые встречаются на практике. Эта идея очень привлекательна на первый взгляд, но она имеет определенные недостатки. Мы кратко обсудим робастные М-оцениватели в регрессии, выскажем свое мнение и укажем ссылки на литературу для более глубокого ознакомления с данной темой.

М-Оцениватели

М-оцениватели относятся к оценивателям «максимально правдоподобного» типа. Предположим, что ошибки распределены независимо и все принадлежат одному и тому же распределению Тогда оцениватель, основанный на методе максимального правдоподобия для выражается вектором который максимизирует величину

где есть вектор-строка матрицы в модели Если есть плотность нормального распределения, то выражение (6.14.1) совпадает с (2.6.5). Эта же оценка максимизирует

В более общем случае мы можем следовать логике, содержащейся в работе Эндрьюса (Andrews D. F. A robust method for multiple linear regression.- Technometrics, 1974, 16, p. 523-531), и определить как М-оцениватель вектора параметров Р вектор, который максимизирует величину

где есть функция, которая придает более высокие веса некоторым величинам (обычно меньшим единицы) и более низкие веса другим (обычно большим единицы). В общем случае эта функция максимизируется численно итерационными методами. В качестве примера такой функции может служить

при некотором определенном выборе с. Очевидно, существует много других выражений этой функции.

Когда робастные оцениватели оправданы?

Положение здесь во многом сходно с тем, которое имеет место в случае гребневой регрессии. Любой определенный робастный оцениватель оправдан, если он приводит (точно или приближенно) к оценкам максимального правдоподобия для параметров при тех предположениях об ошибках, которые считаются верными, если предположение неверно. Безрассудное применение робастных оценивателей подобно безрассудному использованию гребневых оценивателей. Они могут быть пригодными, но могут быть и неуместными. Основная проблема в том, что мы не знаем, какие робастные оцениватели и при каких типах предположений об ошибках целесообразно применять; хотя некоторая работа в этом направлении уже проведена (см., например: Chen G. G. Studies in Robust Estimation.- University of Wisconsin at Madison, Ph. D. Thesis, 1979).

Что же надо делать на практике?

Если мы предполагаем, что ошибки не имеют «идеального» распределения то надо попытаться сформулировать альтернативный закон распределения. Затем надо постулировать структуру параметрической модели, отвечающую этим альтернативным предположениям об ошибках. После этого для оценивания параметров целесообразно применить метод максимального правдоподобия или эквивалентный ему байесовский метод.

Мнение. Мы считаем, что использование методов робастной регрессии нецелесообразно в настоящее время, до тех пор пока не будут сформулированы правила, позволяющие решать при каких обстоятельствах, и какой робастный метод следует использовать, и пока не будет выполнена их проверка. Если модель (которая включает предположения о распределении ошибок) неправильна, то можно подходящим образом изменить модель и использовать снова метод максимального правдоподобия, т. е. не следует менять метод оценивания. (Как и в случае гребневой регрессии, следует применять метод лишь тогда, когда он соответствует обстоятельствам.) 21