Глава 6. МУЛЬТИКОЛЛИНЕАРНОСТЬ. СМЕЩЕННЫЕ ОЦЕНКИ

6.1. Мультиколлинеарность и ее измерение

Мультиколлинеарность — одно из основных препятствий эффективного применения аппарата регрессионного анализа. Что такое «мультиколлинеарность» и в чем ее смысл? Как и чем измерять мультиколлинеарность? Попытаемся ответить на поставленные вопросы. Под мультиколлинеарностью в дальнейшем будем понимать сопряженность независимых переменных. Мультиколлинеарность обычно называют сильной (harmfull), если оценки параметров или проверки гипотез зависят скорее от взаимозависимости независимых переменных модели регрессии, чем от зависимости Д. Фаррар и Р. Глаубер [100] считают мультиколлинеарность сильной, если коэффициент корреляции одной из пар независимых переменных больше коэффициента корреляции регрессии. Обозначим через вектор-столбец матрицы независимых переменных тогда мультиколлинеарность означает «почти линейную

зависимость векторов существование чисел таких, что

Чем ближе левая часть (6.1) к нулевому вектору из тем сильнее мультиколлинеарность. Предельный случай соответствует точному равенству в (6.1). Тогда говорим о строгой мудьтиколлинеарности. Этот случай разобран в следующем параграфе. Сейчас же мы по-прежнему считаем, что строгой линейной зависимости между вектор-столбцами матрицы X не существует, т. е. однако имеет место приближенная зависимость (6.1). Трудность установления факта мультиколлинеарности связана с тем, что на практике равенство (6.1) никогда не бывает точным. В первую очередь этому мешает наличие, может быть, с практической точки зрения незначительных ошибок измерения Точное равенство может отсутствовать также из-за ошибок округления. Поэтому мы согласны с Фарраром, Глаубером [100], которые говорят, что мультиколлинеарность есть не вопрос существования, а вопрос степени.

Чем опасна мультиколлинеарность? Для регрессионного анализа она опасна тем, что оценки МНК становятся малоэффективными, т. е. дисперсия оценок будет весьма большой. Для наглядности рассмотрим случай Сначала предположим, что имеют одинаковый масштаб измерения. Этого можно добиться нормировкой векторов т. е. рассмотреть В таком случае матрица плана является матрицей сопряженности, т. е.

где

Тогда

и

есть дисперсия оценок МНК для и в регрессии агхг Если между переменными существует тесная линейная зависимость, близок к 1, то, как следует из последнего выражения, дисперсии оценок МНК будут иметь большие значения. В общем случае при наличии (6.1) матрица становится плохо обусловленной, в частности

В качестве критерия качества оценки выберем сумму квадратов дисперсий

Если то значение суммы (6.2) будет велико. В частности, если то

Остановимся на вопросе измерения мультиколлинеарности. Вообще, мультиколлинеарность — понятие достаточно многогранное, и трудно предложить меру, которая была бы во всех отношениях хороша. Рассмотрим пять различных мер. Первые три из них — характеристики матрицы плана

а. Определитель матрицы плана Поскольку при наличии приближенной линейной зависимости (6.1) матрица становится плохо обусловленной, т. е. близкой к вырожденной (имеющей нулевой определитель), то определитель может выступать в качестве меры мультиколлинеарности. При рассмотрении проблемы мультиколлинеарности большую наглядность дает геометрический подход, который возможен для В дальнейшем мы часто будем изображать ту или иную оценку геометрически для случая Особенно нагляден при геометрическом подходе характеристический эллипс (эллипсоид при Как известно, геометрическим местом точек, составляющих доверительное множество при в случае нормального распределения отклонений регрессии является внутренность эллипса

где оценка МНК. Нетрудно показать, что является уровнем суммы квадратов отклонений

Характеристические числа матрицы суть длины полуосей эллипса а характеристические векторы матрицы плана — направления соответствующих осей эллипса. Центр эллипса находится в точке плоскости, отвечающей оценке МНК. Характеристический эллипс (6.3) является геометрическим представителем матрицы Выбор у не имеет решающего значения, так как форма и положение эллипса от него не зависят.

Рис. 6.1. Характеристический, эллипс регрессии: а) мультиколлинеарность отсутствует; б) мультиколлинеарность

Можно показать, что пропорциональна площади внутренности характеристического эллипса Поэтому малость означает малость площади, охватываемой На рис. 6.1, а показан некоторый характеристический эллипс; О — центр эллипса имеет координаты оценка МНК. Длина отрезка большая полуось, равна длины отрезка малая полуось эллипса. Вектор совпадает с направлением х.в. матрицы отвечающим вектор с направлением отвечающим Определитель численно равен площади прямоугольника На рис. 6.1, б показан характеристический эллипс другой регрессионной задачи. Этот эллипс более вытянут в одном направлении и сжат в другом. При этом минимальное уменьшилось в 4 раза, а максимальное увеличилось в 4 раза. Ясно, что в случае б) мультиколлинеарность сильнее, но выбранный критерий приводит к одному и тому же значению. Форма характеристического эллипса позволяет сделать вывод, насколько «идентифицируемы» параметры Если эллипс сильно

вытянут в одном направлении и сжат в другом, то можно утверждать, что параметры слабо различимы. Грубо говоря, параметры приближенно линейно зависимы, т. е. плохо идентифицируемы: при оценнвании может произойти «перелив» из одного параметра в другой. Так, для рис. 6.1, б мы можем грубо записать:

Минимальное характеристическое число матрицы плана. Очевидно, чем меньше тем сильнее мультиколлинеарность (см. теорему 6.1). На не оказывают влияния другие характеристические числа матрицы Имеется еще одно веское обстоятельство использования величины как показателя мультиколлинеарности. Обозначим левую часть (6.1) через Если в качестве приближения к взять квадрат евклидова расстояния то, переходя к матричной форме, получим откуда

Вектор соответствующий минимальному характеристическому числу дает тот набор коэффициентов, который приводит к максимально приближенной к нулю линейной комбинации векторов

О другом положительном качестве мы уже упоминали. Оно связано с непосредственным влиянием на точность оценивания регрессии Помимо того, что отражает взаимную сопряженность независимых переменных она несет на себе эффект выбора масштаба измерения этих переменных. Действительно, пусть, например, измерены в рублях, и мы решили перейти в другие единицы, например млн. рублей, тогда Поэтому

Если судить по величине минимального матрицы плана, то преобразованная модель будет мультиколлинеарна. Полезно будет рассмотреть модель, в которой отсутствует сопряженность независимых переменных (ортогональная модель), а масштаб измерения хтодинаков. Математически это означает: где Тогда и оценка МНК равна т. е.

Найдем -статистику для каждого параметра

Таким образом, даже если т. е. сумма дисперсий (6.2) будет иметь большое значение, относительная точность оценивания -статистика может быть достаточно высока (например, больше 2). Поэтому мера есть показатель качества оценивания в абсолютном смысле.

в. Мера обусловленности матрицы по Нейману — Голдстейну [165]. Дж. Нейман и Голдстейн, исследуя методы обращения матриц, заметили, что удобной характеристикой вырожденности матрицы является отношение максимального к минимальному. Эту меру можно предложить и для измерения мультиколлинеарности. Геометрически отношение Яшах означает, насколько сжат характеристический эллипсоид в одном направлении и вытянут в другом. А чем отличается новая мера от предыдущей? Во-первых, так же, как и отношение может нести на себе эффект сильной сопряженности независимых переменных. Однако этого может и не быть. Тогда и несут на себе эффект выбора масштаба. Однако если зависит от масштаба измерения одновременно для всех переменных, то отражает разницу в масштабах. Можно показать, что

1) не влечет и не влечет ;

2) не влечет и не влечет ;

3) не влечет и не влечет

Максимальная парная сопряженность Большую пользу при анализе регрессии приносит рассмотрение матрицы сопряженности

где В качестве показателя мультиколлинеарности может выступить величина

Интуитивно понятно, чем больше значение (6.6), тем сильнее мультиколлинеарность (см. теорему 6.1). Однако (6.6) выражает только парную коллинеарность, т. е. мультиколлинеарность второго порядка х. Например, три переменные могут быть коллинеарны, но парно не сопряжены. На рис. 6.2 показаны три коллинеарных вектора, принадлежащие плоскости (по терминологии аналитической геометрии векторы компланарны), в то же время матрица сопряженности для этого случая равна:

Максимальный коэффициент сопряженности не несет на себе эффекта масштаба. Он отражает только степень коллинеарности независимых переменных. Верны следующие соотношения:

1) не влекут обязательно ;

2) влечет и не влечет обязательно

Рис. 6.2. Строгая мультиколлинеарность при попарно линейно-независимых векторах,

Максимальная сопряженность Предыдущая мера мультиколлинеарности имеет существенный недостаток: она ориентирована только на парную коллинеарность. Поэтому даже если возможна строгая мультиколлинеарность. От этого недостатка свободна другая мера, которую мы сейчас и рассмотрим. Зафиксируем независимую переменную и найдем косинус угла который составляет эта переменная, т. е. вектор с подпространством натянутым на остальное множество

независимых переменных В качестве меры мультиколлинеарности регрессионной задачи рассмотрим

Формально есть коэффициент детерминации в регрессии на Для нахождения не обязательно вычислять регрессию на остальные переменные. Укажем более простой способ одновременного нахождения всех Не теряя общности найдем, например, Будем считать это ограничение, очевидно, не повлияет на величину Разобъем матрицу X на две подматрицы где — первый вектор-столбец матрицы X, — остальные вектор-столбцы матрицы Тогда

Далее по формуле

Откуда в общем случае

где - элемент матрицы, обратной к сопряженной (6.5).

С помощью соотношения (6.9) можно, например, выяснить, скажется ли коллинеарность и на оценке МНК третьего параметра в регрессии

где сильно сопряжены, нет. Заметим, что

Однако

Для простоты приведем к одному масштабу, т. е. нормируем их. Тогда по формуле (6.8)

поэтому первые два параметра будут иметь большую дисперсию, а третий — нет. Другими словами, мультиколлинеарность не влияет на точность оценивания параметров, соответствующие независимые переменные которых не порождают мультиколлинеарность.

Мера (6.7) является хорошей мерой мультиколлинеарности. Она не связана с масштабом измерения независимых переменных, отражает их внутреннюю сопряженность и хорошо интерпретируется.

Между введенными мерами мультиколлинеарности существуют следующие соотношения:

1) влечет

2) влечет

Зависимости между рассмотренными мерами мультиколлинеарности показаны на рис. 6.3. Как видно из этого

Рис. 6.3. Зависимость между различными мерами мультиколлинеарности

рисунка, между мерами мало зависимостей. Все они отражают определенную сторону мультиколлинеарности. На практике целесообразно пользоваться по меньшей мере как величинами, отражающими степень мультиколлинеарности независимых переменных.

Можно показать, что при увеличении степени мультиколлинеарности по каждой из рассмотренных мер, за исключением меры в, точность оценивания параметров методом наименьших квадратов убывает. Предельные случаи соответствуют строгой мультиколлинеарности.

Остановимся еще на одном вопросе. Как узнать, какие переменные порождают мультиколлинеарность? Как было отмечено, наилучшее приближение левой части (6.1) к нулю наблюдается, если за взять характеристический вектор, отвечающий Если в (6.1) входят не все векторы, то соответствующие координаты в векторе будут близки к нулю. Остальные переменные и порождают мультиколлинеарность.