8.7. ПРОВЕРКА ЗНАЧИМОСТИ ОЦЕНОК ПАРАМЕТРОВ РЕГРЕССИИ

В предыдущем разделе мы познакомились с критерием, оценивающим существенность вклада в общую дисперсию включенных в регрессию переменных. При оценке значимости коэффициента детерминации устанавливалось, существенно ли вариация объясняющих переменных в целом определяет вариацию зависимой переменной у. Таким образом, приведенный в разделе 8.6 критерий значимости коэффициента детерминации косвенно указывает также значимость статистических оценок параметров, входящих в уравнение регрессии.

Теперь рассмотрим критерии значимости отдельно для оценки каждого параметра регрессии. Выдвинем следующие гипотезы:

т. е. нет существенного различия между оценкой параметра регрессии, полученной по результатам выборки, и истинным значением параметра (параметра регрессии генеральной совокупности);

т. е. имеется значимая разница между оценкой параметра регрессии и соответствующим параметром генеральной совокупности.

При данной альтернативной гипотезе используется двусторонняя критическая область. Альтернативная гипотеза может быть сформулирована также следующим образом: или е. оценка параметра существенно больше или существенно меньше параметра генеральной совокупности. В этом случае используется односторонняя критическая область.

В разделе 8.1 обсуждались предпосылки, при которых оценки параметров имеют -распределение. При соблюдении этих предпосылок для проверки значимости оценок параметров, входящих в уравнение регрессии, применяется -критерий:

где — стандартное отклонение оценки параметра регрессии (см. формулу (3.44) в разделе 3.6). Число степеней свободы статистики (8.54) следующее: где количество объясняющих переменных, включенных в регрессию. Значение вычисленное по (8.54), сравнивают с критическим значением найденным

по табл. 3 приложения при заданном уровне значимости а и числе степеней свободы с учетом того, используется двусторонняя или односторонняя критическая область. Если то значимо отличается от т. е. нельзя предположить, что выборка отобрана из генеральной совокупности с параметром регрессии

Если нулевую гипотезу нельзя сформулировать в виде е. нельзя указать заранее числовое значение параметра регрессии генеральной совокупности, то часто при экономических исследованиях выдвигают другое предположение, а именно:

т. е. переменная не оказывает существенного влияния на зависимую переменную

Ф 0, т. е. переменная оказывает существенное влияние на у.

При данной альтернативной гипотезе используется двусторонняя критическая область. Альтернативная гипотеза может быть также сформулирована следующим образом: или т. е. имеется значимая положительная (прямая) или отрицательная (обратная) зависимость переменной у от переменной . В этом случае используется односторонняя критическая область.

В то время как при двусторонней критической области не требуется никакой информации о направлении зависимости у от при применении односторонней критической области на основе экономических соображений должен быть априори известен знак параметра регрессии.

При проверке гипотезы используется статистика

имеющая -распределение с степенями свободы. В частном случае для простой линейной регрессии при проверке гипотезы относительно используется статистика

выражение которой получается подстановкой в (8.55) вместо формулы (3.48). При проверке гипотезы относительно используется статистика

Выражение (8.57) также получается из (8.55) путем подстановки вместо формулы (3.46).

Проверка гипотезы имеет второстепенное значение, так как постоянная регрессии чаще всего лишена экономического смысла.

Пример

В разделе 2.4 мы вычислили оценку коэффициента регрессии для зависимости производительности труда от уровня механизации работ по промышленным предприятиям. Проверим теперь гипотезу против так как исходя из экономического анализа изучаемого явления коэффициент регрессии должен быть положительным. В разделе 3.6 была вычислена стандартная ошибка коэффициента регрессии . По (8.55) имеем

При односторонней критической области для находим по таблице -распределения критическое значение статистики Так как существенно больше нуля. Коэффициент регрессии отражает существенную положительную зависимость. Таким образом, обсуждаемый критерий значимости коэффициента регрессии приводит к такому же результату, что и критерий значимости коэффициента корреляции (см. раздел 8.5). То же самое можно сказать о критериях значимости коэффициентов частной корреляции и регрессии.

Пример

Оценим значимость коэффициентов частной регрессии, рассматривая зависимость производительности труда от уровня механизации работ, от среднего возраста работников и среднего процента выполнения нормы. Объем выборки . Воспользуемся теперь двусторонней критической областью.

В разделах 2.7 и 3.6 были вычислены оценки коэффициентов частной регрессии и их стандартные ошибки:

По (8.55) получим следующие значения

По таблице -распределения для при двусторонней критической области находим критическое значение Поскольку существенно отлично от нуля и отражает, таким образом, значимое частное влияние уровня механизации работ на производительность труда. Напротив, . Поэтому мы не можем утверждать, что существенно отличны от нуля. Оба коэффициента частной регрессии статистически не надежны. На основе данной выборки нельзя окончательно решить, значимо ли частное влияние среднего возраста работников и среднего процента выполнения нормы. В данном случае вместо переменных в исследуемую регрессию могут быть включены другие, экономически обоснованные переменные, такие, как уровень вооруженности труда основными фондами, коэффициент сменности рабочей силы, средняя заработная

плата, использование рабочего времени, показатель текучести рабочей силы.

Дополнительное статистическое исследование может показать, что не все перечисленные переменные имеют одинаковое значение в исследуемой регрессии. Прежде чем вынести решение об исключении переменных из анализа в силу их незначимого влияния на зависимую переменную, производят исследование с помощью коэффициента детерминации. Если коэффициент детерминации регрессии с тремя объясняющими переменными несущественно изменится по сравнению с коэффициентом детерминации регрессии с одной объясняющей переменной, то это свидетельствует о том, что включение второй и третьей переменных не улучшает соответствия регрессии исходной системе случайных переменных. Так, для нашего примера применение критерия (8.55) показало, что переменные (средний возраст работников и средний процент выполнения нормы) не оказывают значимого влияния на переменную у. Однако вместе они вносят существенный вклад в объяснение переменной у. Для проверки этого предположения можно применить критерий, который оценивает систематическое влияние дополнительно включенных объясняющих переменных. При этом исходим из двух функций:

и

В первой регрессии (8.58) содержится объясняющих переменных, во второй — только часть из них, а именно объясняющих переменных. При этом т. е. в регрессии (8.58) по сравнению с (8.59) содержится дополнительно объясняющих переменных. Теперь следует проверить, вносят ли совместно эти переменных существенную долю в объяснение вариации переменной у. Сформулируем гипотезы:

Необходимо иметь в виду, что влияние первых из объясняющих переменных здесь не оценивается. При справедливости альтернативной гипотезы принимают регрессию (8.58). При справедливости нулевой гипотезы принимают регрессию (8.59). При проверке гипотез используется статистика

которая имеет -распределение с степенями свободы. Здесь означает коэффициент детерминации регрессии с объясняющими переменными, а — коэффициент детерминации регрессии с объясняющими переменными. Разность в числителе формулы (8.60) является мерой дополнительного

объяснения вариации переменной у за счет включения переменных. Поэтому число степеней свободы числителя равно . В критерии базой сравнения служит неопределенность функции регрессии с объясняющими переменными. Поэтому число степеней свободы знаменателя равно: Чем больше разность тем реже отвергается нулевая гипотеза. Критическое значение а находят по таблице -распределения (см. приложение) при заданном уровне значимости а и и степенях свободы. Если а, то результаты выборки не противоречат нулевой гипотезе Включенные дополнительно объясняющих переменных совместно не оказывают значимого влияния на переменную у. Если то гипотеза на уровне значимости а отвергается. В этом случае объясняющих переменных совместно оказывают существенное влияние на вариацию переменной у.

Пример

С помощью критерия (8.60) ответим на поставленный выше вопрос: существенно ли совместное влияние на производительность труда среднего возраста работников и среднего процента выполнения нормы При этом — коэффициент детерминации регрессии, выражающей зависимость производительности труда от уровня механизации работ, среднего возраста работников и среднего процента выполнения нормы. Соответственно коэффициент детерминации регрессии, выражающей зависимость производительности труда от уровня механизации работ. С помощью (8.60) получаем

По таблице -распределения для находим критическое значение Так как у нас нет оснований отвергнуть гипотезу После того как мы установили, что для исследованных 14 предприятий каждая из переменных в дельности — средний возраст работников и средний процент выполнения нормы — не оказывает существенного влияния на производительность труда, можно сделать вывод о незначимости их совместного влияния. Критерий (8.60) может быть применен и при нелинейной регрессии, например для полиномиальной модели.

Другой важной проблемой является сравнение оценок параметров регрессии. При этом различают:

сравнение коэффициентов частной регрессии одной и той же функции;

сравнение оценок параметров регрессии двух функций.

В первом случае нулевая гипотеза записывается в виде т. е. проверяется равенство коэффициентов частной регрессии в генеральной совокупности. Альтернативная гипотеза исходит из значимого различия обоих коэффициентов частной регрессии в генеральной совокупности — (двусторонняя критическая область), или или (односторонняя критическая область).

При проверке нулевой гипотезы может быть использован критерий

степенями свободы. Так как оба коэффициента частной регрессии оцениваются по результатам одной и той же выборки, они не независимы друг от друга. Поэтому в знаменателе формулы (8.61) должна быть учтена ковариация между . В связи с тем что (см. раздел 3.6), формулу (8.61) можно записать в виде

где — элементы матрицы Решение о принятии или отклонении гипотезы производится путем сравнения расчетного значения с критическим , заимствованным из таблицы -распределения.

Пример

Проверим гипотезу о равенстве коэффициентов частной регрессии зависимости производительности труда от уровня механизации работ, среднего возраста работников и среднего процента выполнения норм против . В разделе 2.7 были вычислены коэффициенты частной регрессии а в разделе 3.6 — дисперсии и ковариации обоих коэффициентов: . С помощью формулы (8.61) получим значение статистики

По таблице -распределения для (односторонняя критическая область) находим критическое значение Так как мы с риском 5% отвергаем гипотезу т. е. коэффициенты регрессии значимо отличны друг от друга больше Этот критерий можно обобщить для проверки гипотезы о равенстве нескольких параметров регрессии для одной и той же функции. Заинтересованный читатель может обратиться к специальной литературе, например [57], [117].

На примере простой линейной регрессии продемонстрируем сравнение оценок параметров регрессии двух функций. Используемый при этом критерий можно обобщить на коэффициенты частной регрессии и более чем на две функции. При этом исходим из следующих предположений:

в обеих генеральных совокупностях исследуется содержательно одинаковая зависимость переменной у от переменной

пары наблюдений являются результатами двух независимых выборок объема из генеральных совокупностей;

по результатам каждой выборки строится простая линейная регрессия и находится дисперсия остатков:

Второй индекс в обозначениях оценок параметров регрессии указывает номер выборки, по данным которой они вычислены. Нулевая гипотеза заключается в том, что обе выборки произведены из генеральных совокупностей в среднем с одинаковой зависимостью переменной у от переменной х. Альтернативная гипотеза

0,1) констатирует различие в этих зависимостях.

Процедура проверки гипотезы разбивается на несколько этапов.

1. Вначале следует проверить, равны ли дисперсии остатков в обеих генеральных совокупностях. Для этого выдвигается гипотеза против Проверка осуществляется с помощью статистики

имеющей -распределение степенями свободы. При этом в числителе стоит большая дисперсия. Если а, то гипотеза принимается, а при а отклоняется на уровне значимости а. В случае принятия нулевой гипотезы (дисперсии остатков обеих генеральных совокупностей равны) вычисляется сводная оценка дисперсии остатков для обеих регрессий

2. Ко второму этапу приступаем в предположении равенства дисперсий остатков. Теперь проверяем равенство коэффициентов регрессии, характеризующих угол наклона регрессионных прямых к оси абсцисс. Выдвигается гипотеза против При проверке нулевой гипотезы используется статистика

имеющая -распределение с степенями свободы. Подставим в (8.65) вместо дисперсий их выражения — формулу (3.47). Используя вместо оценку по формуле (8.64) и учитывая, что представим (8.65) в виде

Сравнивая расчетное значение с критическим заимствованным из таблицы -распределения, принимаем одно из следующих решений:

а) если то гипотеза принимается. Оба коэффициента регрессии несущественно отличаются друг от друга, т.е. регрессионные прямые параллельны друг другу. Уравнения регрессии могут отличаться друг от друга не угловыми коэффициентами, а своими постоянными;

б) если то гипотеза отвергается. На уровне значимости а можно утверждать, что наклон регрессионных прямых значимо различен и поэтому они не параллельны друг другу.

При принятии гипотезы , т.е. считая, что выполняется равенство вычисляем сводную оценку коэффициента регрессии как взвешенное среднее:

3. В предположении равенства дисперсий остатков и коэффициентов регрессий приступаем к третьему этапу. На этом этапе оценивается расхождение свободных членов в двух сравниваемых уравнениях регрессии. Выдвигаем гипотезу против Для проверки нулевой гипотезы используется статистика

имеющая -распределение с степенями свободы. Здесь — сводная оценка коэффициента регрессии по (8.67), — другая, независимая от оценка углового коэффициента для двух уравнений регрессии, полученная в предположении равенства как коэффициентов регрессии, так и свободных членов (постоянных регрессии). Оценка находится по формуле

где индекс в обозначениях средних соответствует номеру выборки.

Далее в формуле — стандартное отклонение разности

где определяется по (8.64).

Расчетное значение (8.68) сравнивается с критическим . Если , то постоянные регрессии существенно отличаются друг от друга на уровне значимости а. Хотя обе регрессионные прямые параллельны Друг другу, они не идентичны, так как имеется статистически значимое расхождение постоянных.

Если то обе регрессионные прямые считаются идентичными; имеющиеся различия между этими прямыми можно объяснить лишь

случайными колебаниями выборочных данных. Полученная форма усредненной зависимости может быть принята для обеих генеральных совокупностей. Но при этом на всех трех этапах должна быть принята нулевая гипотеза.

Если дисперсии остатков различаются значимо, то для сравнения регрессионных прямых точных статистических критериев нет. Для этого случая разработаны рекомендации, основанные на приближенных формулах, точность которых возрастает по мере роста объемов выборок из обеих совокупностей [10].

Пример

Воспользуемся результатами, полученными в разделах 2.4 и 3.6, при построении простой линейной регрессии зависимости производительности труда от уровня механизации работ. Оценки параметров этой регрессии и необходимые нам статистические характеристики будем считать результатами первой выборки. Используя новые обозначения, запишем:

Для другой отрасли промышленности (вторая генеральная совокупность) была исследована зависимость между такими же переменными на основе выборки объема

Выполним поэтапно процедуру сравнения двух регрессионных прямых.

1. Проверим, значимо ли статистически расхождение между дисперсиями остатков По (8.63) получаем

Так как нас нет оснований отвергать гипотезу об однородности двух дисперсий. По (8.64) находим сводную оценку дисперсии остатков, общую для обеих регрессий:

2. Так как обе дисперсии остатков не различаются значимо, мы можем проверить гипотезу о равенстве коэффициентов регрессии с помощью критерия (8.66):

По таблице -распределения находим . Так как мы принимаем нулевую гипотезу, т. е. считаем, что оценки обоих коэффициентов регрессии расходятся несущественно. Обе теоретические регрессионные прямые параллельны друг другу

в силу того, что постоянные этих регрессий могут отличаться друг от друга. Вычислим сводную оценку углового коэффициента наклона по (8.67):

3. Поскольку на первых двух этапах нулевые гипотезы были приняты, установим тождественность свободных членов в уравнениях и удостоверимся в идентичности регрессий. По (8.69) и (8.70) получаем

Подставим найденные значения в (8.68):

Так как на уровне значимости 5% нулевая гипотеза отвергается.

Теперь подытожим результаты нашего исследования. Для обеих отраслей промышленности (генеральных совокупностей) может быть принята одинаковая усредненная зависимость производительности труда от уровня механизации работ. Но уравнения регрессии для обеих отраслей промышленности не идентичны в силу установленного статистического различия в свободных членах этих уравнений. По одной и той же регрессии нельзя оценить средний уровень производительности труда в обеих отраслях промышленности при заданных значениях коэффициента механизации работ. Кроме того, в разделе 8.5 было установлено, что теснота связи между исследуемыми переменными для обеих отраслей промышленности была различна.

Аналогичная процедура может быть использована для определения структурных изменений во временных рядах. С этой целью исследуемый промежуток времени делят на два периода, для каждого из которых строят регрессионную зависимость. Затем с помощью приведенных выше критериев проверяется их идентичность. Если в результате проверки статистических гипотез подтверждается идентичность регрессий для обоих периодов, то приходят к выводу, что за исследуемый промежуток времени не произошло никаких нарушений, которые могли бы привести к структурным изменениям. Полученные уравнения регрессии принимаются характерными для исследуемого явления.