9. МУЛЬТИКОЛЛИНЕАРНОСТЬ

При изучении множественной линейной регрессии часто сталкиваются с наличием линейной связи между всеми или некоторыми объясняющими переменными. Это явление называется мультиколлинеарностью. На наш взгляд, впервые на проблему мультиколлинеарности обратил внимание Р. Фриш. Мультиколлинеарность между объясняющими переменными вызывает технические трудности, связанные с уменьшением точности оценивания или даже с невозможностью оценки влияния тех или иных переменных. Причина заключается в том, что вариации в исходных данных перестают быть независимыми и поэтому невозможно выделить воздействие каждой объясняющей переменной в отдельности на зависимую переменную. Продемонстрируем это на простом примере.

Пусть исследуется зависимость себестоимости от объема производства и введенных в действие основных фондов. Следует ожидать, что объем производства зависит также от основных фондов. Если мы обе переменные выберем в качестве объясняющих, то, очевидно, коэффициенты регрессии не будут точно отражать зависимость себестоимости от обоих факторов, так как основные фонды оказывают дополнительное влияние на себестоимость через объем производства.

Каковы последствия мультиколлинеарности в регрессионном и корреляционном анализе? Прежде чем ответить на этот вопрос, рассмотрим формы ее возникновения. Мультиколлинеарность может проявляться в функциональной (явной) и стохастической (скрытой) форме. Функциональная форма мультиколлинеарности возникает, когда по крайней мере одна из объясняющих переменных связана с другими объясняющими переменными линейным функциональным соотношением. Линейный коэффициент корреляции между этими двумя переменными в таком случае равен +1 или —1.

Пусть следует построить уравнение регрессии в виде При этом известно, что переменные связаны линейным соотношением В этом случае можно показать, что определитель матрицы (X X) равен нулю, т.е. ранг матрицы X меньше и матрица вырожденная. Это приводит к нарушению предпосылки 4 (см. раздел 2.9) и к тому, что система нормальных уравнений не имеет

однозначного решения, если по крайней мере одна из объясняющих переменных может быть представлена в виде линейной комбинации остальных.

Однако на практике функциональная форма мультиколлинеарности встречается довольно редко. Значительно чаще мультиколлинеарность проявляется в стохастической форме. Она имеет место, когда по крайней мере между двумя объясняющими переменными существует более или менее сильная корреляция. Система нормальных уравнений тогда хотя и имеет решение (так как определитель матрицы отличен от нуля и матрица невырожденная), но обнаруживаются необычайно большие стандартные ошибки. Под стохастической формой мультиколлинеарности может скрываться функциональная из-за накладывающихся на нее ошибок наблюдения, измерения или спецификации модели, когда нелинейная регрессия рассматривается как линейная или учитываются не все переменные. Чем сильнее корреляция между объясняющими переменными, тем меньше определитель матрицы Это приводит к серьезному понижению точности оценки параметров регрессии, искажению оценок дисперсии остатков, дисперсии коэффициентов регрессии и ковариации между ними. В этом случае говорят, что стандартная ошибка «взрывается». Следствием падения точности является ненадежность коэффициентов регрессии и отчасти неприемлемость их использования для интерпретации как меры воздействия соответствующей объясняющей переменной на зависимую переменную. Оценки коэффициентов становятся очень чувствительны к выборочным наблюдениям. Небольшое увеличение объема выборки может привести к очень сильным сдвигам в значениях оценок. Кроме того, стандартные ошибки входят в формулы критериев значимости. Поэтому применение самих критериев становится также ненадежным. Из сказанного ясно, что исследователь должен пытаться установить стохастическую мультиколлинеарность и по возможности устранить ее.

Причина возникновения мультиколлинеарности в экономических явлениях — многообразие объективно существующих соотношений между объясняющими переменными. Это касается регрессии, построенной как на результатах одновременных обследований, так и по данным, полученным из временных рядов. В общем случае во временных рядах имеют дело с трендом, который, во-первых, не требует обязательной для регрессии независимости отдельных наблюдений, а во-вторых, в определенной степени автоматически приводит к регрессии с другими объясняющими переменными, если они обладают такой же тенденцией. Кроме того, следует отметить, что для тех переменных, которые находятся в объективной связи, ошибка прогноза при мультиколлинеарности объясняющих переменных в общем относительно мала, если на время упреждения не изменяются все прочие условия.

Теперь перейдем к вопросам установления функциональной и стохастической мультиколлинеарности. Функциональную мультиколлинеарность установить легко, так как получающаяся система нормальных уравнений не имеет однозначного решения. Стохастическую форму мультиколлинеарности мы можем обнаружить с помощью следующих показателей.

1. Для измерения стохастической мультиколлинеарности можно использовать коэффициент множественной детерминации. В разделе 4.6 мы показали, что при отсутствии корреляции между объясняющими переменными, т. е. при отсутствии мультиколлинеарности, коэффициент множественной детерминации равен сумме соответствующих коэффициентов парной детерминации:

где у — зависимая переменная, — объясняющая, т. При наличии мультиколлинеарности соотношение (9.1) не соблюдается. Поэтому в качестве меры мультиколлинеарности можно предложить разность

Чем меньше эта разность, тем меньше мультиколлинеарность.

2. Другой показатель разработан А. Е. Хорлом он основан на использовании для измерения мультиколлинеарности числителя формулы коэффициента множественной детерминации. В предположении множественной регрессии числитель коэффициента детерминации можно представить следующим образом:

для и Выражение

является числителем формулы коэффициента парной корреляции между переменными При отсутствии коллинеарности между этими переменными он равен нулю. Поэтому в качестве общего показателя мультиколлинеарности можно использовать разность

Если значение мало, то считаем, что мультиколлинеарность тоже незначительна.

3. В качестве показателя мультиколлинеарности можно также воспользоваться выражением (9.2), разделив его на

Чем больше тем интенсивнее мультиколлинеарность.

4. Известен также показатель мультиколлинеарности, являющийся производным от (9.5). Разделив правую и левую части выражения (9.5) на получим

Величина заключена в границах Чем больше приближается к 1, тем сильнее мультиколлинеарность. Показатели являются весьма приближенными. Их недостаток заключается в том, что неизвестны их распределения и поэтому нельзя установить их критические значения. Кроме того, с помощью этих показателей нельзя определить, какие из переменных «ответственны» за мультиколлинеарность. Теперь рассмотрим методы исключения или уменьшения мультиколлинеарности. Часто довольно трудно решить, какие из набора линейно связанных объясняющих переменных исключить, а какие наиболее полно раскрывают природу и физическую сущность явления и поэтому должны быть учтены в корреляционном и регрессионном анализе. В области экономики эти вопросы должны решаться прежде всего исходя из логически-профессиональных соображений. Итак, разработаны следующие методы уменьшения мультиколлинеарности:

а) Исключение переменных. Этот метод заключается в том, что высоко коррелированные объясняющие переменные устраняются из регрессии, и она заново оценивается. Отбор переменных, подлежащих исключению, производится с помощью коэффициентов корреляции. Для этого производится оценка значимости коэффициентов парной корреляции между объясняющими переменными Опыт показывает, что если то одну из переменных можно исключить. Но какую переменную удалить из анализа, решают исходя из экономических соображений. Из-за отсутствия теоретического обоснования этот подход весьма приближенный.

Другой способ исключения переменных был предложен Фарраром и Глаубером. Процедура отбора переменных, подлежащих исключению, состоит из трех этапов. При этом предполагается нормальное распределение остатков.

На первом этапе мультиколлинеарность выявляется лишь в общем виде. Для этого строится матрица коэффициентов парной корреляции между объясняющими переменными (см. раздел 4.3, формула и вычисляется ее определитель:

Далее для проверки наличия мультиколлинеарности вообще среди объясняющих переменных применяется критерий Выдвигается нулевая гипотеза между объясняющими переменными мультиколлинеарность отсутствует. Альтернативная гипотеза между объясняющими переменными имеется мультиколлинеарность. В качестве критерия используется величина

имеющая -распределение с степенями свободы. Если (см. табл. 5 приложения), то нулевая гипотеза принимается. Считаем, что мультиколлинеарность между объясняющими переменными отсутствует. Если то гипотеза о наличии мультиколлинеарности не противоречит исходным данным. Между какими переменными она возникает, решается на втором и третьем этапах процедуры.

На втором этапе используются коэффициенты детерминации между объясняющими переменными (см. раздел 3.5). Оценка мультиколлинеарности основана на том, что величина

имеет -распределение с степенями свободы. Если (см. табл. 4 приложения), то переменной в наибольшей степени присуща мультиколлинеарность. По Фаррару и Глауберу изучение значений -статистик должно показать, какие из объясняющих переменных в большей мере подвержены мультиколлинеарности.

На третьем этапе исследуется, какая объясняющая переменная порождает мультиколлинеарность, и решается вопрос об ее исключении из анализа. Для этой цели привлекаются коэффициенты частной корреляции между объясняющими переменными. Переменная у во внимание не принимается. В качестве критерия используется величина

имеющая -распределение с степенями свободы. Если то между переменными существует коллинеарность и одна из переменных должна быть исключена. При исключении переменной исследователь должен опираться как на собственную интуицию, так и на содержательную теорию явления. Если то данные не подтверждают наличие коллинеарности между переменными

б) Линейное преобразование переменных. Другой способ уменьшения или устранения мультиколлинеарности заключается в переходе к регрессии приведенной формы путем замены переменных, которым присуща коллинеарность, их линейной комбинацией. Например, следует построить уравнение регрессии в виде

Установлено, что переменные высоко коррёлированы. Анализ явления и результаты наблюдений позволяют постулировать дополнительное уравнение связи между объясняющими переменными фигурирующими в исходной гипотезе, а именно Переменную подставляем в уравнение регрессии и получаем: В общем случае переменные не сильно коррелируют. Таким образом, достигается снижение или даже полное устранение мультиколлинеарности.

в) Исключение тренда. При построении регрессии по данным, полученным из временных рядов, рекомендуется исключить тренд или компенсировать изменение последовательных значений переменных (прирост). Этим достигается соблюдение предпосылок регрессионного анализа — независимость наблюдений и уменьшение мультиколлинеарности.

г) Использование предварительной информации. Обычно на основе ранее проведенного регрессионного анализа или в результате экономических исследований уже имеется более или менее точное представление о величине или соотношении двух или нескольких коэффициентов регрессии. Эта предварительная или вневыборочная информация может быть использована исследователем при построении регрессии. В связи с тем что часть оценок, полученных на основе вневыборочных данных, уже имеет достаточно четкую интерпретацию, это облегчает путь обнаружения взаимных влияний изменений различных переменных.

д) Пошаговая регрессия. Процедура применения пошаговой регрессии начинается с построения простой регрессии. В анализ последовательно включают по одной объясняющей переменной. На каждом шаге проверяется значимость коэффициентов регрессии и оценивается мультиколлинеарность переменных. Если оценка коэффициента получается незначимой, то переменная исключается и рассматривают другую объясняющую переменную. Если оценка коэффициента регрессии значима, а мультиколлинеарность отсутствует, то в анализ включают следующую переменную. Таким образом, постепенно определяются все составляющие регрессии без нарушения предположения об отсутствии мультиколлинеарности (см. также [105]).

е) Метод главных компонент Метод главных компонент давно применяется для исключения или уменьшения мультиколлинеарности объясняющих переменных регрессии. Этот метод выходит за рамки данной книги и поэтому мы его опишем лишь в общих чертах.

Основная идея заключается в сокращении Числа объясняющих пере менных до наиболее существенно влияющих факторов. Это достигается путем линейного преобразования всех объясняющих переменных в новые переменные, так называемые главные компоненты. При этом требуется, чтобы выделению первой главной компоненты соответствовал максимум общей дисперсии всех объясняющих переменных второй компоненте — максимум оставшейся дисперсии, после того как влияние первой главной компоненты исключается, и т.д. Таким образом, выполненное преобразование содействует уменьшению мультиколлинеарности новых выделенных переменных по сравнению с мультиколлинеарностью набора исходных переменных

Процедура вычислений по методу главных компонент состоит из следующих шагов.

Строится матрица, элементами которой являются отклонения результатов наблюдений над переменными от соответствующих средних :

Определяется матрица дисперсий и ковариаций объясняющих переменных

Матрица имеет размерность она совпадает с (3.28).

Главные компоненты являются линейными комбинациями объясняющих переменных и могут быть записаны в общем виде как

Они должны удовлетворять упомянутому выше требованию: каждый раз выделенная главная компонента должна воспроизводить максимум дисперсии. На неизвестные векторы коэффициентов в (9.14) накладываются дополнительные ограничения:

(т. е. они должны быть нормированы) и

(т. е. они должны быть некоррелированы).

Дисперия главной компоненты

должна принимать наибольшее значение при соблюдении условий (9.15) и (9.16). Для решения проблемы максимизации функции, связанной

дополнительными ограничениями, пользуются методом жителей Лагранжа. В конечном итоге задача сводится к определению собственных значений матрицы и соответствующих собственных векторов

Собственные значения матрицы определяются из уравнений, которые в общем виде записываются как

где X — множитель Лагранжа, единичная матрица. Подставляя последовательно собственные значения, начиная с наибольшего, в уравнение

получим собственные векторы матрицы соответствующие этим собственным значениям. Собственные векторы затем используются для построения искомых векторов коэффициентов в (9.14).

Так как собственные векторы известны, по (9.14) можно определить главные компоненты. При этом обычно довольствуются меньшим, чем числом главных компонент, но достаточным, чтобы воспроизвести большую часть дисперсии. По мере выделения главных компонент доля общей дисперсии становится все меньше и меньше. Процедуру вычисления главных компонент прекращают в тот момент, когда собственные значения, соответствующие каждый раз (по возможности) наибольшим дисперсиям, становятся пренебрежимо малыми. Количество выделенных главных компонент в общем случае значительно меньше числа объясняющих переменных . По главным компонентам строится матрица

С помощью главных компонент по аналогии с (2.64) оцениваются параметры регрессии

В соответствии с (2.59) вычисляются значения регрессии

При всех своих преимуществах (уменьшение высокой мультиколлинеарности объясняющих переменных) метод главных компонент обладает и недостатками. Во-первых, главным компонентам, как правило, трудно подобрать экономические аналоги. Поэтому вызывает затруднение экономическая интерпретация оценок параметров регрессии, полученных по (9.20). Во-вторых, оценки параметров регрессии получают не по исходным объясняющим переменным, а по главным компонентам. В итоге можно сказать, что метод главных компонент применяется в основном для оценки значений регрессии и для определения прогнозных значений зависимой переменной, что также является целью регрессионного анализа.

Кроме этих методов существует еще ряд способов измерения мультиколлинеарности. Так, в конфлюэнтном анализе, разработанном Р. Фришем, проблему мультиколлинеарности пытаются решить графически [46]. Известен также метод собственных значений, который, по

нашему мнению, принадлежит Г. Тинтнеру [ 1251. С помощью этого метода устанавливается число линейно-независимых соотношений между объясняющими переменными в предположении, что дисперсия ошибок наблюдения известна. Но эта предпосылка в условиях экономических исследований трудно выполнима. Далее, мультиколлинеарность может быть исследована с помощью гребневого анализа. Проблема мультиколлинеарности на сегодня еще окончательно не решена. Однако, используя различные подходы, мы пытаемся определить наличие мультиколлинеарности, чтобы затем по возможности с помощью того или иного метода ее уменьшить. Если же это не удается, то к оценкам коэффициентов регрессии и значениям регрессии надо относиться с большой осторожностью.