Часть первая. ЛИНЕЙНАЯ РЕГРЕССИЯ КАК БЕЗУСЛОВНОЕ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ

Глава 1. КЛАССИЧЕСКАЯ РЕГРЕССИЯ. СВОЙСТВА ОЦЕНКИ МНК

1.1. Основные предположения. Оценка МНК

Рассмотрим случайную величину, характеризующую некоторое явление. Обозначим эту величину у, а последова, тсльность отдельных ее значений зависит от целого ряда явлений, характеризуемых признаками Каждый из этих признаков описывается своим рядом значений. Естественно, что для анализа зависимости у от регистрация значений признаков должна производиться одновременно. Итак, у — зависимая, а независимые переменные. Далее предположим, что между переменными имеется линейная связь.

Однако из-за влияния различных неучтенных факторов, а также воздействия случайности и помех наблюдения у будут в большей или меньшей мере отклоняться от линейной зависимости. В силу этого зависимость у от будет нефункциональная, а стохастическая. Последнюю можно записать в виде:

В уравнении (1.1), которое в дальнейшем будем называть регрессией, означаетномер наблюдения; — параметры, которые необходимо оценить; случайное отклонение. Наличие в уравнении (1.1) приводит к тому, что эта зависимость будет стохастической. Анализ уравнения (1.1) и методика определения параметров становятся более наглядными, а расчетные процедуры

существенно упрощаются, если воспользоваться матричной записью уравнения (1.1):

Здесь у — вектор зависимой переменной размерности представляющий собой наблюдений значений у; X — матрица независимых переменных, элементы которой суть наблюдений значений независимых переменных размерность матрицы X равна ее — подлежащий оцениванию вектор неизвестных параметров размерности вектор случайных отклонений (возмущений) размерности Таким образом,

Классический регрессионный анализ базируется на еле, дующих предположениях, определяющих требования к параметрам ее, случайным отклонениям и независимым переменным

Предположение А. На вектор неизвестных параметров регрессии (1.1) не наложено ограничений. Это значит, что где множество априорных значений параметров а.

Предположение Вектор случайный. Отсюда следует, что также случайный вектор.

Предположение В. Математическое ожидание равно нулю, т. е.

Предположение Для любых для всех Другими словами, Здесь дисперсия отклонений;

матрица ковариаций отклонений размерности единичная матрица размерности

Предположение Матрица X детерминирована, т. е. не являются случайными переменными.

Предположение

Эти предположения (они подробно обсуждаются в следующем параграфе) дают возможность исследовать свойства и статистическое содержание получаемых оценок вектора параметров ее.

В дальнейшем выдвинутые предположения мы будем последовательно ослаблять. Так, в параграфе 2.3 рассмотрен случай, когда на вектор неизвестных параметров ее наложены линейные ограничения. В параграфе 2.1 рассмотрена ситуация коррелируемых отклонений, имеющих разные дисперсии. Главы 3 и 4 книги посвящены изучению регрессии при случайной матрице Случай поучается в параграфе 6.2.

По предположению независимые переменные детерминированы, поэтому уравнение регрессии (1.2) можетбыть переписано следующим образом: Таким образом, регрессия, рассматриваемая в первой части книги, имеет вид безусловного математического ожидания.

Уравнение (1.1) содержит значения неизвестных параметров Эти величины оцениваются на основе шлборочных наблюдений, поэтому полученные расчетные показатели не являются истинными, а представляют собой лишь их статистические оценки. Модель линейной регрессии, в которой вместо истинных значений параметров подставлены их оценки (а именно такие регрессии и применяются на практике), имеет вид

где а — вектор оценок параметров; вектор «оцененных» отклонений регрессии, —оценка значений у, равная

Для оценивания неизвестного вектора параметров а воспользуемся методом наименьших квадратов

Согласно этому методу минимизируется сумма квадратов отклонений

Оценкой метода наименьших квадратов в линейной множественной регрессии называют вектор, минимизирующий сумму квадратов отклонений. Для нахождения минимума этой суммы продифференцируем (1.3) по и приравняем полученное выражение нулю; получим (см. приложение П.2)

Если матрица наблюдений независимых переменных X имеет полный ранг, т. е. то, решая последнее уравнение относительно найдем

Оценка (1.4) является оценкой метода наименьших квадратов.

Теорема 1.1. Если предположение выполнено, то оценка МНК (1.4) единственна.

Доказательство. Дважды дифференцируя сумму квадратов отклонений по получим (см. ). Матрица X в силу предположения имеет полный ранг, поэтому матрица положительно определена. Значит, функция выпукла вниз и поэтому имеет единственный глобальный минимум, в котором (см. приложение

Геометрически представляет собой параболоид в евклидовом пространстве Рассмотрим, например, случай (рис. 1.1). Минимальное значение характеризуется вектором Предположим, что от, а именно Тогда график будет напоминать «бесконечное корыто», а минимум наблюдаться на всей прямой, образующей «дно корыта» (рис. 1,б). При этом в качестве минимизирующего вектора а будет выступать целое семейство точек, расположенных на прямой в плоскости

Иначе говоря, оценка МНК всегда существует, однако если то оценка МНК не единственна и

образует целое семейство оценок. Формула (1.4) для нахождения оценок в этом случае неприменима (обобщение формулы (1.4) на случай рассмотрено в параграфе 6.2).

Рис. 1.1. (см. скан) Геометрическая интерпретация минимизации суммы квадратов отклонений,

Для иллюстрации модели регрессии обратимся к примеру. При подборе данных для примера учитывалось основное требование классического регрессионного анализа: детерминируемость независимых переменных (предположение Д).

Допустим, имеются три независимые переменные (факторы), воздействующие на зависимую переменную. Для большей конкретности рассмотрим химический эксперимент. Предположим, нас интересует результат реакции некоторого вещества с веществом В ходе реакции получается вещество Реакция происходит в присутствии катализатора К. Результат эксперимента, назовем его выходом реакции зависит от пропорции веществ В, и Пусть количество вещества во всех экспериментах одно и то же, количество же вещества будем менять. Проведем 15 экспериментов, в каждом из которых количество вещества варьирует. Каждый эксперимент проводим при некоторой температуре и некотором количестве катализатора К,-

Очевидно, что схема линейной регрессии применима к разным ситуациям в различных областях практики. Например, прирост массы скота зависит от количества и соотношений кормов и условий содержания скота.

Данные регрессионного анализа могут представлять собой временные ряды; они могут быть также элементами пространственно-структурной выборки. Так, у может быть числом дорожно-транспортных происшествий за определенный год по районам, численностью населения данного района, числом транспортных средств в районе, общей протяженностью районных шоссейных дорог, численностью персонала п. Однако все возможные примеры должна объединять одна общая особенность: независимые переменные в таких регрессиях мы считаем детерминируемыми, т. е. не случайными. Случайность несут только зависимые переменные регрессии.

Вернемся к примеру с химическим экспериментом. Введем обозначения: выход реакции (количество вещества эксперименте; замер выхода реакции делаем по истечении некоторого времени — количество вещества эксперименте; температура реакции эксперименте; количество катализатора эксперименте.

Остальные условия проведения экспериментов остаются неизменными: количество вещества величина давления, среда проведения эксперимента и т. п. Результаты и условия 15 экспериментов представлены в табл. 1.1.

Предположим, выход реакции, количество вещества температура и количество катализатора связаны линейной

зависимостью типа (1.1). Таким образом, имеется уравнение регрессии

где для всех (причины, по которым фактор пнеден в уравнение (1.5), объяснены ниже).

Оценим параметры регрессии (1.5) с помощью МНК, используя информацию, приведенную в табл. 1.1. По результатам 15 экспериментов получим следующие вектор матрицу X:

Пнхшшм необходимые для оценивания а значения (матрицу часто называют матрицей плана

(см. скан)

После того как получена оценка МНК, можно перейти к интерпретации регрессии. В регрессии (1.5) при фиксированных увеличение на единицу его измерения ведет к изменению математического ожидания у на единиц. В таком случае говорят, что изменение самого значения у происходит «в среднем» и может служить оценкой величины изменения у при изменении

Рис. 1.2. Графики исходных значений и значений вычисленных на основе регрессии (1.6)

Таким образом, если в приведенном примере температуру проведения реакции и количество катализатора зафиксировать и изменять только количество вещества то введение в реакцию дополнительно приведет к увеличению выхода реакции приблизительно на («приблизительно», поскольку на выход реакции могут повлиять помехи ). При фиксированном количестве и фиксированной температуре увеличение катализатора ведет к увеличению на

Однако такое толкование коэффициентов регрессии допустимо в весьма ограниченных пределах. В самом деле, пусть Получим выход реакции В действительности же в этих условиях ни о какой реакции речь не может идти (нет

необходимых составляющих). Уравнение регрессии, как правило, имеет смысл только в том диапазоне значений который имел место в эксперименте. В нашем примере — в диапазоне тех значений количества вещества участвующего в реакции, температуры реакции и катализатора, на основе которых была оценена регрессия (1.5). Так как регрессия (1.5) учитывала только те значения независимых переменных, которые были охвачены наблюдениями, то при выходе за эти рамки модель становится неадекватной действительности.

Рис. 1.3. Истинная зависимость у от и регрессия

Вполне вероятно, модель (1.5) нелинейна вне охваченного диапазона значений и ее использование в виде (1.6) в этом случае ошибочно. Так, на рис. 1.3 истинная зависимость между выходом реакции у и количеством катализатора существенно нелинейна вне заштрихованного интервала изменения

Упражнения 1.1

(см. скан)

(см. скан)