6.11. СТУПЕНЧАТЫЙ РЕГРЕССИОННЫЙ МЕТОД

Этот метод не дает правильного МНК-решения для переменных, включенных в итоговое уравнение. Основная его идея состоит в следующем. После того как получено регрессионное уравнение для переменной X, наиболее сильно коррелированной с находят остатки Эти остатки теперь рассматриваются как значения отклика, и строится регрессия этого отклика на предикторную переменную X, которая наиболее сильно коррелирована с этим новым откликом. Процесс продолжается до любой желаемой стадии. Новые предикторы X не корректируются на исходные Так как на каждой стадии отклик предсказываемый отклик (отклик — предсказываемый отклик), конечное регрессионное уравнение можно получить путем последовательных подстановок регрессионных уравнений. Оно не будет МНК-уравнением для включенных в него переменных. Для иллюстрации снова воспользуемся примером Хальда. Вычисления выполняются довольно легко на настольных калькуляторах и не требуют привлечения ЭВМ. (Распечатки, приведенные в приложении Б, подходят только для первой стадии этого метода.)

Шаг 1. Построим графики зависимости отклика от каждой из предикторных переменных по очереди, или вычислим коэффициенты корреляции отклик-предиктор. Выберем предикторную переменную, наиболее сильно коррелированную с откликом. Для данных Хальда это

Шаг 2. Построим регрессию в зависимости от и получим Вычислим остатки для каждого значения Они показаны на с. 289.

Шаг 3. Остатки рассматриваем как новые отклики и выбираем из оставшихся переменных ту, которая наиболее сильно коррелирована с этими остатками. Часто оказывается полезным исходный график (см. рис. 6.7).

Шаг 4. Хотя и возможные кандидаты, вычисления соответствующих коэффициентов корреляции показывают, что

наиболее сильно коррелирована с остатками среди всех Поэтому мы теперь построим регрессию, связывающую из шага 2 с переменной Данные для этой регрессии имеют вид

Рис. 6.7. Графики остатков в зависимости от

Наилучшее уравнение прямой есть

На первом этапе мы можем записать

Затем, поскольку

мы можем записать

Следовательно, на втором этапе наше уравнение представляется с помощью т. е.

или

Теперь остатками служат, как и ожидалось, Другие переменные могут быть добавлены аналогичным образом.

На каждом этапе строится регрессия текущих остатков в зависимости от новой переменной до тех пор, пока регрессия станет незначимой. Процесс заканчивается без включения последней переменной. Завершая наш пример на втором этапе, мы видим, что окончательное уравнение не совпадает с МНК-уравнением, содержащим

Для сравнения укажем МНК-уравнение для этой модели (см. приложение Б, с. 291):

Ниже приводятся разные формулы для вычисления -коэффициентов.

где

Сравним коэффициент полученный по методу наименьших квадратов (обозначен полученным ступенчатым методом (обозначен ):

Мы можем переписать теперь эту формулу в виде

где квадрат обычного коэффициента корреляции между Таким образом, оценки ступенчатого регрессионного метода по абсолютной величине меньше, чем МНК-оценки. Коэффициент пропорциональности зависит от квадрата коэффициента корреляции. Это, в свою очередь, показывает, что введенная переменная фактически более важна, чем это видно из регрессионной зависимости, построенной по остаткам.

Несмотря на то что этот метод будет всегда менее точным, т. е. будет давать больший остаточный средний квадрат, чем метод наименьших квадратов, он имеет следующие преимущества. Он позволяет выбрать первую переменную не на основе ее корреляции с а исходя из других соображений. Допустим, например, что имеется набор переменных X, сильно коррелированных друг с другом; согласно обычным процедурам отбора в качестве первой переменной выбирается та, скажем, которая наиболее сильно коррелирована с На следующей стадии все другие переменные, не входящие в уравнение, корректируются на Поэтому, если, скажем, сильно коррелирована с она может быть отвергнута как возможная переменная. Однако величина может быть как раз той переменной, которую желает использовать экспериментатор. Например, может быть непосредственно управляемой переменной, в то время как может быть неуправляемой. К примеру, при моделировании торговой ситуации может представлять собой собственные расходы на рекламу, тогда как расходы на рекламу со стороны конкурента. Таким образом, экспериментатор может принять регрессионную зависимость и затем продолжить рассмотрение задачи, используя остатки от этой регрессии как значения зависимой переменной при построении следующих регрессий.

Дополнительно укажем, что существуют ситуации, когда нужно устранить тренд в данных, прежде чем пытаться составить уравнение для предсказания. Экономисты часто корректируют данные относительно тренда или сезонности и затем переходят к анализу результирующих вариаций с помощью метода наименьших квадратов.

Мнение. Одна из особенностей ступенчатого регрессионного метода состоит в том, что переменные могут вводиться таким образом, чтобы можно было сохранить ожидаемое направление действия любых эффектов (в противном случае их не следует вводить). Линейное МНК-уравнение не всегда позволяет этого добиться, ввиду корреляции между переменными из-за специфических особенностей области пространства переменных X, в которой находятся наши данные. Это не приносит вреда при условии, что мы не пытаемся выделять определенные члены в модели. Настоящее МНК-уравнение обычно обладает лучшими свойствами в отношении предсказания, чем уравнение, полученное ступенчатым способом. По этой причине ступенчатый

регрессионный метод не рекомендуется для типичных производственных задач. О его пригодности в экономических ситуациях можно прочесть в статьях, указанных в библиографии.