3.6. СТАНДАРТНЫЕ ОШИБКИ ОЦЕНОК

Качество подбора функции регрессии можно оценить с помощью стандартных ошибок или дисперсий остатков и оценок параметров регрессии.

Стандартная ошибка или дисперсия остатков. Стандартная ошибка остатков называется также стандартной ошибкой оценки регрессии в связи с интерпретацией возмущающей переменной и как результата ошибки спецификации функции регрессии (см. главу 2). О дисперсии остатков шла речь ранее в разделах 2.4, 2.9, 3.1 и 3.3. Возмущающая переменная и является случайной с определенным распределением вероятностей. Математическое ожидание этой переменной равно нулю (предпосылка 1), а дисперсия — (предпосылка 2, см. раздел 2.9). Таким образом, это дисперсия возмущения в генеральной совокупности. Нам неизвестны значения возмущающей переменной. Можно судить о ней только по остаткам и. Вычисленная по этим остаткам дисперсия является оценкой дисперсии возмущающей переменной. Несмещенной оценкой дисперсии возмущающего воздействия будет, следующее выражение

В знаменателе формулы (3.32) стоит число степеней свободы где — объем выборки, число объясняющих переменных. Такое выражение числа степеней свободы связано с тем, что остатки должны удовлетворять условиям. Эти условия непосредственно вытекают из предпосылок 1 и 5 (см. раздел 2.9). Кратко

поясним это утверждение. Параметры множественной регрессии

вычисляют путем решения системы нормальных уравнений, в матричной форме записи имеющих вид

Подставим (2.60) в (2.63):

Раскрыв скобки и сделав соответствующие выкладки, получим

Матричное уравнение (3.33) содержит т. условий (уравнений), которые накладываются на остатки, и это приводит к уменьшению числа степеней свободы. При в силу того, что для всех

что является следствием предпосылки 1 (математическое ожидание возмущающей переменной равно нулю). Из (3.33) при также получим

что вытекает из предпосылки 5 (переменные не коррелируют со значениями возмущения, т. е. являются действительно объясняющими, а не подлежащими объяснению переменными). Следовательно, в регрессионном анализе могут обсуждаться только односторонне направленные зависимости. Поскольку термин «степень свободы» используется для обозначения независимой информации, в данном случае число связей, налагаемых на независимых случайных наблюдений, можно интерпретировать как параметров которыми определяется функция регрессии.

В связи с тем что вычисление числителя в формуле (3.32) довольно затруднительно, мы хотим, опустив вывод, привести более простой способ его определения:

или в матричной форме записи:

Выражения сумм в правой части (3.35) содержатся в рабочей таблице для построения регрессии, а оценки параметров уже получены. Если снова обратиться к понятию коэффициента детерминации, введенному в разделах 3.1 и 3.2, то станет ясным физический смысл дисперсии

(или стандартного отклонения) остатков — это та доля общей дисперсии которая не может быть объяснена зависимостью переменной у от переменных

Стандартные ошибка или дисперсии оценок параметров регрессии. При описании этих показателей будем исходить из заданных значений объясняющих переменных.

Как указывалось в разделе 2.9, оценки параметров регрессии являются случайными величинами, имеющими определенное распределение вероятностей. Возможные значения оценок рассеиваются вокруг истинного значения параметра . Определим меру рассеяния оценки параметра. Обозначим через матрицу дисперсий и ковариаций оценок параметров регрессии:

Симметрическая матрица (3.36) на главной диагонали содержит дисперсии оценок параметров регрессии

а вне главной диагонали — их ковариации

Краткая форма записи матрицы (3.36):

Подставив в (3.39) формулу (2.86) из раздела 2.9

получим

или

Далее, в силу того, что

имеем

Так как неизвестно, используем его оценку В результате получаем оценку матрицы (3.41),

элементами главной диагонали которой являются искомые оценки дисперсий. Матрицу легко определить, поскольку матрица известна (см. вычисление оценок параметров в разделе 2.7), вычисляется по (3.32).

Если мы обозначим через элемент главной диагонали матрицы то оценка дисперсии параметра регрессии будет определяться выражением

т. е. она равна произведению дисперсии остатков на элемент главной диагонали обратной матрицы Таким образом, стандартная ошибка оценки параметра регрессии определяется как

Найдем дисперсию и стандартную ошибку оценок параметров простой линейной регрессии. В случае простой линейной регрессии имеем

а также

Согласно формуле (3.42) получим

Умножая на первый элемент главной диагонали матрицы получим оценку дисперсии постоянной уравнения регрессии

а также ее стандартную ошибку:

Умножив на второй элемент главной диагонали матрицы , получим оценку дисперсии коэффициента регрессии :

а также стандартную ошибку этого коэффициента:

Рассмотрим более обстоятельно стандартную ошибку коэффициента простой линейной регрессии. Для этого сумму квадратов отклонений в (3.48) заменим на выражение, полученное путем преобразования формулы (1.8):

Формула (3.48) приобретет вид

Итак, стандартная ошибка коэффициента регрессии зависит:

от рассеяния остатков. Чем больше доля вариации значений переменной у, необъясненной ее зависимостью от найденной методом наименьших квадратов, тем больше стандартная ошибка коэффициента регрессии. Следовательно, чем сильнее наблюдаемые значения переменной у отклоняются от расчетных значений регрессии, тем менее точной является полученная оценка параметра регрессии;

от рассеяния значений объясняющей переменной х. Чем сильнее это рассеяние, тем меньше стандартная ошибка коэффициента регрессии. Отсюда следует, что при вытянутом облаке точек на диаграмме рассеяния получаем более надежную оценку функции регрессии, чем при небольшом скоплении точек, близко расположенных друг к другу;

от объема выборки. Чем больше объем выборки, тем меньше стандартная ошибка коэффициента регрессии. Здесь существует непосредственная связь с таким свойством оценки параметра регрессии, как асимптотическая несмещенность (см. раздел 2.9).

Стандартная ошибка оценки параметра регрессии используется для оценки качества подбора функции регрессии. Для этого вычисляется относительный показатель рассеяния, обычно выражаемый в процентах:

Чем больше относительная стандартная ошибка оценки параметра, тем более оцененные величины отличаются от наблюдаемых значений зависимой переменной и тем менее надежны оценки прогноза, основанные на данной функции регрессии.

Пример

Вычислим сначала стандартную ошибку для простой линейной регрессии из раздела 2.4, которой описывалась зависимость производительности труда от уровня механизации работ. Итак, имеем

а также

Используя формулы (3.43) и (3.44), получим следующие значения дисперсий и стандартных ошибок оценок параметров регрессии:

По (3.50) относительные стандартные ошибки равны:

Далее по данным из раздела 2.7 вычислим дисперсии и стандартные ошибки оценок параметров множественной регрессии для зависимости производительности труда от уровня механизации работ, среднего возраста работников и среднего процента выполнения нормы. Обратная матрица для этой множественной регрессии найдена в разделе 2.7. По (3.32) вычислим

Применяя (3.43), (3.44) и (3.50), получим следующие результаты:

В то время как для простой линейной регрессии величины стандартных ошибок оценок параметров были приемлемы, для множественной регрессии такой вывод можно сделать только относительно стандартной ошибки коэффициента регрессии Оценка функции множественной регрессии, несмотря на большой коэффициент детерминации (см. раздел 3.3) не очень надежна. Отсюда очевидно, что стандартные ошибки оценок параметров служат источником дополнительной информации о качестве подбора функции регрессии. Более обстоятельно с выводами, вытекающими из результатов данного примера, мы познакомимся в разделе 8.7.

Элементы матрицы стоящие вне главной диагонали и, как было отмечено выше, являющиеся ковариациями, также могут быть использованы для оценки качества подбора функции регрессии. Они характеризуют связь между отклонениями оценок двух параметров регрессии от их истинных значений. Ковариация положительна, когда знаки отклонений от от совпадают. Если оба отклонения положительные, то оценки являются завышенными, если отрицательные — заниженными. Ковариация отрицательна, если положительному отклонению от (завышенная оценка) соответствует отрицательное отклонение от (заниженная оценка) и наоборот.

Пример

Вычислим для простой регрессии ковариацию между постоянной и коэффициентом регрессии

Отсюда следует, что завышение (или занижение) оценки истинного значения параметра сопровождается занижением (или соответственно завышением)

Запишем полностью матрицу ковариаций и дисперсий оценок параметров регрессии, так как далее нам придется еще к ней обращаться:

Вычислим ковариации между оценками параметров для множественной регрессии:

На основе этих ковариаций можно так же, как в случае простой регрессии, оценить связи между отдельными параметрами регрессии. Но мы не будем здесь на этом останавливаться.

Запишем теперь полностью матрицу ковариаций и дисперсий оценок параметров множественной регрессии:

Эта матрица будет применяться для специальных критериев в главах 8 и 11.