Глава 3. ОДНОМЕРНАЯ НОРМАЛЬНАЯ ЛИНЕЙНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ

Мы начнем в этой главе с анализа простой одномерной нормальной линейной регрессионной модели и перейдем затем к нормальной линейной множественной регрессионной модели. Везде в этой главе мы принимаем допущения нормальности, независимости, линейности, гомоскедастичности и отсутствия ошибок измерения. Нарушение этих допущений и их анализ будут даны в последующих главах.

3.1. ПРОСТАЯ ОДНОМЕРНАЯ НОРМАЛЬНАЯ ЛИНЕЙНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ

3.1.1. Модель и функция правдоподобия

В простой одномерной нормальной линейной регрессионной модели мы имеем дело с одной случайной переменной (отсюда и термин «одномерная») - «зависимой» переменной, вариация которой должна быть объяснена, по крайней мере частично, вариацией другой переменной — «независимой». Предполагается, что та часть вариации зависимой переменной, которая необъяснима через вариацию независимой переменной, генерируется ненаблюдаемой случайной «ошибкой», или «возмущением», последняя же может рассматриваться как, представление совместного воздействия множества незначительных факторов, вызывающего вариацию зависимой переменной. Если обозначить зависимую переменную через у, а независимую — через то формально мы получим следующую зависимость:

где есть наблюдение за зависимой переменной, есть наблюдение за независимой переменной, есть ненаблюдаемое значение случайного возмущения или переменной, выражающей ошибку, и являются параметрами регрессии, а именно «точкой пересечения оси ординат» (свободным членом) и «тангенсом угла наклона линии регрессии» (угловым коэффициентом) соответственно.

Заметим, что зависимость (3.1) линейна относительно откуда и происходит термин «линейная» регрессия.

Допущение 1. Все нормально и независимо распределены, каждое с нулевым математическим ожиданием и общей дисперсией, равной

Относительно независимой переменной мы примем следующее допущение.

Допущение 2. Все являются фиксированными нестохастическими переменными.

Альтернативно мы можем принять следующее допущение относительно

Допущение 3. Всех являются случайными переменными, распределенными независимо от с ФПВ, не содержащей параметры и с.

Для того чтобы построить функцию правдоподобия в условиях допущений 1 и 3, мы запишем совместную ФПВ для а именно

где обозначает параметры маргинальной ФПВ для Поскольку, по допущению (3), не содержит ни ни ни а, функцию правдоподобия для можно построить с помощью первого сомножителя правой части (3.2). Заметим, что из (3.1) следует, что при заданных переменная у нормально распределена с . Кроме того, при заданных распределены независимо. Таким образом, мы имеем

Это выражение мы получили бы и в том случае, если бы приняли допущение 2 относительно вместо допущения 3. Выражение (3.3), рассматриваемое как функция параметров есть функция правдоподобия, которую надлежит объединить с нашей априорной ФПВ для параметров.