6.3. Смещенные оценки

Если в классической линейной регрессии предположения выполняются, то оценка МНК

является эффективной в классе несмещенных оценок, линейных по у (теорема Гаусса-Маркова, параграф 1.5). Если к тому же предположить, что отклонения модели-регрессии имеют нормальное распределение, то оценка МНК оказывается эффективной в классе всех несмещенных оценок (линейных и нелинейных). Однако даже если отклонения нормальны, то в некоторых ситуациях оценки МНК становятся нестабильными. Это происходит при сильной

сопряженности независимых переменных, т. е. при мультиколлинеарности. Как было показано в параграфе усилении мультиколлинеарности точность оценки МНК падает. В частности, мультиколлинеарность ведет к тому, что координаты вектора оценки принимают очень большие значения. Это утверждение следует из равенства

при При сильной мультиколлинеарности оценка МНК становится настолько неудовлетворительной, что даже знаки некоторых координат часто не соответствуют истинным.

Таким образом, задачу оценивания можно сформулировать следующим образом: найти оценку параметров регрессии, которая была бы устойчивой даже при сильной сопряженности независимых переменных, т. е. такую оценку, точность которой не падала бы до нуля при усилении мультиколлинеарности.

Ограничимся классом линейных оценок как наиболее простым. Следующим ограничением, связанным с оценкой МНК, является условие несмещенности оценки. Для того чтобы оценка была устойчивой по отношению к мультиколлинеарности, необходимо отказаться от этого условия, т. е. рассматривать и смещенные оценки. Итак, допустим фиксировано. В качестве критерия оценки (функции риска) выберем среднюю сумму квадратов ошибок где некоторая оценка параметра Обозначим через класс линейных оценок, каждая из которого имеет ограниченную ССКО для всех X (в том числе для тех матриц, для которых и всех из некоторого априорного множества Ясно, что несмещенная линейная оценка не принадлежит Действительно, пусть линейная несмещенная оценка и Тогда где а — оценка МНК и

т. е. ССКО оценки не ограничена, возникает противоречие.

Итак, для того чтобы построить оценки, которые были бы хороши и в случае мультиколлинеарности, необходимо отказаться от условия несмещенности. Таким образом, приходим к более широкому классу линейных оценок (смещенных и несмещенных). Отказ от несмещенности имеет положительные и отрицательные стороны: 1) положительным является то, что возможно найти смещенную оценку, которая является устойчивой относительно сильной сопряженности независимых переменных, т. е. в случае плохо обусловленной матрицы отрицательным фактом перехода в класс линейных смещенных оценок является то, что в этом классе нельзя найти оптимальной оценки в смысле минимальной матрицы средних квадратов отклонений. Аналогичная ситуация имела место в параграфе 1.4, где для каждого существует смещенная оценка для которой Отсутствие оптимальной оценки в классе всех линейных оценок приводит к тому, что число оценок будет велико.

Покажем, что класс линейных оценок с ограниченной ССКО (т.е. класс имеет смысл рассматривать только для ограниченных в. Обозначим В частности, при в остальных случаях ограниченное множество.

Теорема 6.1. Класс не пуст тогда и только тогда, когда конечное число.

Доказательство. Достаточность. Пусть конечное число, т. е. ограниченное множество. Пусть линейная оценка параметра а, т. е. где С — детерминированная матрица Найдем ССКО оценки Имеем

Полагаем т. е. Тогда т. е. и класс не пуст.

Необходимость. Пусть непустое множество, т. е. некоторая линейная оценка Было показано, что не может быть несмещенной оценкой, т. е. Отсюда следует, что матрица имеет хотя бы одно ненулевое характеристическое число Пусть характеристический вектор матрицы

отвечающий Тогда, если то

так как и при т. е. оценка имеет неограниченную противоречие.

Из теоремы 6.1 следует, что не существует линейной оценки для которая имела бы ССКО меньшую, чем у оценки

Итак, займемся отысканием оптимальных оценок в классе где Обозначим этот класс

Теорема 6.2. В классе не существует оптимальной оценки в смысле минимума ССКО.

Доказательство. Преобразуем выражение (6.13):

Но поэтому

Найдем по С при фиксированном Продифференцируем выражение (6.14) по С и приравняем производную к нулю. Применим следующие формулы: которые можно доказать, используя приложение Принимая во внимание формулу получим

или

откуда

В последнем выражении обращение матрицы корректно так как матрица положительно определена. Далее воспользуемся следующим элементарным фактом. Для любого

Равенство (6.16) легко проверяется умножением обеих частей на матрицу

Используя (6.16), выражение (6.15) перепишем следующим образом:

Таким образом, «оценка», минимизирующая ССКО, зависит и равна:

Для окончательного доказательства теоремы предположим, что оптимальная оценка в классе т. е. для всех Выберем некоторое и построим оценку

Тогда причем равенство будет наблюдаться, если Теперь, если взять то соответствующая оценка будет иметь меньшую ССКО, чем оценка противоречие; теорема доказана.

Доказанные теоремы подсказывают нам, что, во-первых, нельзя найти устойчивую относительно мультиколлинеарности оценку для всех т. е. априорное множество параметров необходимо ограничить; во-вторых, отсутствие эффективной оценки в смысле минимальной ССКО приводит к существованию большого числа несравнимых оценок, оптимальных каждый раз в некотором заранее определенном смысле. В следующих параграфах рассмотрим некоторые оценки из класса

Имеется еще один путь обхождения трудностей, связанных с несравнимостью некоторых функций риска, а именно ССКО. Рассмотрим минимаксные оценки (см. параграф 1.4). Начнем с простейшего случая Итак, имеется регрессия Требуется найти линейную оценку, минимизирующую максимальное значение ССКО для Пусть линейная оценка а.

Найдем

Пусть вектор с фиксирован, тогда

Теперь будем минимизировать функцию Найдем ее производную по и приравняем ее к нулю. Получим

Умножим каждое из предыдущих уравнений на и просуммируем по от 1 до . Получим

откуда

Подставляя найденное значение в уравнение (6.19), окончательно найдем

Соответствующая оценка равна:

Минимаксная оценка (6.20) является ридж-оценкой (см. параграф 6.4). При эта оценка переходит в оценку МНК. Для конечного оценка (6.20) устойчива относительно мультиколлинеарности. В случае мультиколлинеарность означает близость к нулю. Можно проверить, что при не стремится к тогда как где а — оценка МНК. Вычисления минимаксной оценки для весьма затруднительны.

Как же поступить при наличии мультиколлинеарности? На практике часто идут по следующему пути. Как было показано, наличие мультиколлинеарности ведет к большим дисперсиям некоторых координат вектора оценки МНК. Будем считать, что отклонения регрессии гомоскедастичны

и нормально распределены. Тогда, проверяя гипотезы мы можем в случае их принятия отбросить соответствующие независимые переменные и пересчитать регрессию заново. Назовем такую процедуру отсеивания автоматической.

На рис. 6.4 показана оценка МНК для случая вектор характеристический эллипс. Оценка автоматического отсева переменных характеризуется тем, что характеристический эллипс касается оси (при отбросе переменной Вектор этой оценки есть Оценка есть оценка МНК при условии, что вторая координата равна нулю.

Рис. 6.4. Геометрия оценки автоматического отсева переменных

Автоматический отсев переменных предполагает равенство нулю некоторых координат оценки. При этом, вероятно, длина оценки уменьшается, и мы не будем получать больших по абсолютной величине значений оценок. Однако подобная процедура имеет и недостатки. Во-первых, для гарантии того, что употребляемые статистические критерии достаточно эффективны, мы обязаны предположить, что отклонения имеют нормальное распределение или близкое к нему. Во-вторых, процедура приравнивания нулю некоторых координат оценки — весьма грубая. У нас мало уверенности в том, что истинное значение параметра в точности окажется равным нулю. Например, часто в правую часть регрессии входят переменные, которые тесно «коррелируют» между собой. И тем не менее мы не хотим ни одну из переменных выбросить из анализа, поскольку они часто имеют большой физический смысл. Разумеется, одновременно хорошо оценить параметры при этих переменных в силу мультиколлинеарности не удастся. Однако нас вполне устроит более или менее удовлетворительная оценка. В случае же схемы автоматического отсева одна из переменных была бы выброшена из анализа, т. е. нашей оценкой при выброшенной переменной был бы нуль!

Далее рассмотрены оценки, которые «смягчают» оценку МНК, не прибегая к экстраординарным мерам — считать

оценку некоторой координаты неизвестного вектора нулем, как это делается в схеме автоматического отсева переменных. Все описанные оценки уменьшают длину оценки МНК, таким образом являясь более устойчивым.

Мультиколлинеарность не сказывается на точности оценивания Другими словами, обычная несмещенная оценка

использующая оценку МНК, является вполне удовлетворительной.

Действительно, где идемпотентная матрица Найдем дисперсию оценки т. е. Очевидно

Будем предполагать независимыми симметрично распределенными, т. е. имеющими одинаковый четвертый момент Тогда слагаемые суммы не равны нулю, только если индексы удовлетворяют одному из следующих условий:

Сумма (6.21) перепишется следующим образом:

Обозначим В силу идемпотентности откуда

Поэтому

Но т. е. поэтому

Таким образом, даже если дисперсия оценки не стремится к бесконечности, как это наблюдается в оценке МНК.

Упражнения 6.3

(см. скан)