4.2. СЛУЧАЙ РЕГРЕССИИ С НЕОДИНАКОВЫМИ ДИСПЕРСИЯМИ

Здесь мы рассмотрим два нормальных линейных уравнения регрессии:

и

где есть -мерный вектор-столбец наблюдений за зависимой переменной; вектор-столбец наблюдений за зависимой переменной; матрица размерности и ранга k наблюдений за k независимыми переменными; матрица размерности и ранга k наблюдений за k независимыми переменными; -мерный вектор-столбец коэффициентов регрессии; их вектор-столбец возмущений; вектор-столбец возмущений.

Сделаем допущение, что компоненты их и нормально и независимо распределены с нулевыми математическими ожиданиями. Далее допустим, что компоненты их имеют общую дисперсию , а компоненты -общую дисперсию Заметим, что, если или где с — известный множитель, мы можем для анализа наших данных воспользоваться методами 3-й главы, а именно мы можем записать (4.27) и (4.28) в виде у — ХР и, где т. е. в виде стандартной модели, рассмотренной в 3-й главе. В этом параграфе мы рассмотрим случай, когда Сначала мы проанализируем случай, когда о? известна, а неизвестна, а затем перейдем к случаю, когда обе дисперсии неизвестны.

Поставленная в этом параграфе задача может на практике встретиться при следующих обстоятельствах. Пусть наблюдения, представленные (4.27), относятся к некоторому конкретному историческому периоду, например периоду между первой и второй мировыми войнами, а наблюдения, представленные к периоду после второй мировой войны. Возможной гипотезой является, что коэффициенты регрессии одинаковы в (4.27) и (4.28), но что дисперсии возмущений для обоих периодов различны. В другой ситуации (4.27) может рассматриваться как регрессионная модель некоторого элемента экономики, например фирмы, как регрессионная модель другого аналогичного элемента. Хотя мы склонны принять гипотезу, что вектор коэффициентов регрессии одинаков для обоих элементов, мы можем в то же время допустить, что возмущения обоих элементов распределены независимо, но с разными дисперсиями.

Обратимся к случаю, когда известна, т. е. к случаю, который хотя и не часто встречается в практике, но будет нами здесь рассмотрен для того, чтобы лучше выявить связь между байесовскими результатами и результатами некоторых подходов, основанных на теории выборочных исследований. Функция правдоподобия задается следующим выражением:

где и предполагается, что нам заданы. В качестве априорных допущений мы предполагаем, что и компоненты равномерно и независимо распределены, откуда следует

Объединяя (4.29) и (4.30) и интегрируя по мы получаем апостериорную ФПВ для Р:

где

Очевидно, что (4.31) есть произведение двух сомножителей, первый из которых имеет вид ФПВ нормального распределения , а второй — ФПВ многомерного -распределения Стьюдента. В силу этого мы будем называть (4.31) Фнормальной» ФПВ. Разлагая второй сомножитель в асимптотический ряд (см. приложение 2 к данной главе), получаем следующее выражение для главного нормального члена разложения:

где

и

Вторая строка (4.32) была получена просто путем выделения полного квадрата относительно в первой строке (4.32).

Интересно отметить, что (4.33) есть величина, которую Тейл [130] рекомендует в качестве оценивателя на базе теории выборочных исследований, учитывающего априорную стохастическую информацию; он обосновывает этот оцениватель соображениями, основанными на свойствах больших выборок. В нашем случае (4.33) выступает как математическое ожидание нормального первого члена в асимптотическом разложении, аппроксимирующем апостериорную ФПВ для . В приложении 2 и данной главе представлены методы, позволяющие учесть дополнительные члены асимптотического разложения и, таким образом, получить лучшую аппроксимацию апостериорной ФПВ.

Далее мы рассмотрим случай, когда неизвестны как так и случай, чаще всего встречающийся в практике. Функция правдоподобия задается выражением

В качестве априорной ФПВ мы принимаем исходя из допущения о том, что мы располагаем расплывчатой информацией о выражение

Это является формализацией допущения, что компоненты независимо и равномерно распределены. Совместная апостериорная ФПВ для этих параметров задается в виде

Нетрудно проинтегрировать это выражение по и и получить следующую совместную апостериорную ФПВ для компонент

где

Мы видим, что (4.38) есть произведение двух сомножителей, каждый из которых имеет форму ФПВ -распределения Стьюдента. Поэтому мы назовем такое распределение «двойным -распределением». Для анализа выражения (4.38) мы используем асимптотическое разложение каждого из сомножителей (см. приложение 2), что дает нам следующий нормальный первый член:

где обозначает «приближенную пропорциональность»,

и

причем .

Используя эти определения, мы можем записать (4.41) в виде

который, разумеется, равен математическому ожиданию главного нормального члена асимптотического разложения двойной t-ФПВ (4.38). Анализ, обеспечивающий учет членов более высокого порядка асимптотического разложения и тем самым лучшую аппроксимацию апостериорной ФПВ, дается в приложении 2.

Интересно также заметить, что (4.42) можно получить на основе теории выборочных исследований в качестве аппроксимации оценивателя обобщенного метода наименьших квадратов (ОМНК) для системы (4.27) — (4.28), если заменить в этом оценивателе неизвестные

параметры на соответственно. Оцениватель ОМНК задается выражением

где

Таким образом, если принять мы получим аппроксимацию оценивателя ОМНК, который обычно обосновывается свойствами больших выборок. В байесовском подходе мы видим из (4.37), что условная апостериорная ФПВ для при заданном и есть

где

Таким образом, в байесовском подходе оцениватель ОМНК выступает как математическое ожидание условной апостериорной ФПВ которая имеет вид, соответствующий многомерному нормальному распределению с ковариационной матрицей

Если в этой условной ФПВ мы положим то получим аппроксимацию оценивателя ОМНК, рассматриваемого как математическое ожидание нашей условной ФПВ. При больших выборках будут близки к истинным значениям вследствие чего применение условной ФПВ может дать удовлетворительный результат. Но, вообще говоря, лучше интегрировать по чтобы получить маргинальную ФПВ для Р и основывать выводы на этой последней, чем использовать условную ФПВ.

Для иллюстрации приложений этих методов мы проанализируем простую модель инвестиций с применением данных временного ряда с годовым шагом. Эти данные относятся к двум корпорациям — «Дженерал электрик» и «Вестингхауз» — и взяты за 1935-1954 гг. 1 В

модели принято допущение, что валовые инвестиции в неизменных ценах есть линейная функция от ожидаемой доходности и физического объема наличного капитала на начало года. Следуя Грюнфельду [56], примем за меру ожидаемой доходности цену на начало года распространенных акций. Это допущение вызывает критические замечания, но в данном случае мы воспользуемся им для чисто иллюстративных целей. Две инвестиционные функции имеют вид:

где в круглых скобках обозначен номер года t, к которому относится значение переменной (t = 1,2,..., 20), а переменные обозначены следующим образом:

Параметры в (4.43) согласно принятому в этом иллюстративном примере допущению одинаковы для обеих фирм, однако представляется, что свободные члены могут быть различны, — это допущение сделано для того, чтобы обеспечить возможность выражения различного инвестиционного поведения фирм. Далее допустим, что независимо 1 и нормально распределены при всех t с нулевыми математическими ожиданиями и дисперсиями, равными соответственно.

Если мы используем расплывчатую априорную ФПВ для параметров, а именно

где , то получим следующую совместную апостериорную ФПВ:

где есть -мерный вектор-столбец, а матрицы наблюдений за независимыми переменными для «Дже-нерал электрик» и «Вестингхауз» соответственно, размерности

Если мало интересуют исследователя, их можно исключить из интегрированием. Тогда, интегрируя по мы получаем

где есть оцениватель обыкновенного метода наименьших квадратов (1МНК), полученный на данных «Дженерал электрик»; — оцениватель 1МНК, полученный на данных «Вестингхауз» 2:

И

Оценки, полученные на основе выборки, представлены ниже.

Оценка (4.42)

На рис. 4.4 приводится график линий уровней совместной апостериорной ФПВ для представленной выражением (4.46). На этом рисунке представлены также проекции геометрических мест точек условных мод. Из графика видно, что апостериорное распределение является достаточно островершинным, концентрируясь в области приближенное положение

его моды соответствует точке (0,0373; 0,1446). Кроме того, между существует отрицательная корреляция и график линий уровней приближенно эллиптический вследствие почти нормального распределения, которое объясняется тем, что в нашем примере и достаточно велики.

Если в центре интересов исследователя лежит только один из параметров, скажем то мы можем получить его маргинальную ФПВ методами, обсуждаемыми в приложении 2, с использованием асимптотического разложения (4.46)

Рис. 4.4. Линии уровней совместного апостериорного распределения

Эта маргинальная ФПВ нанесена на график на рис. 4.5 сплошной линией. На рис. 4.5 показана также приближенная апостериорная ФПВ для основанная на главном нормальном члене асимптотического разложения (см. (4.39) и приложение 2). Из графика видно, что апостериорная ФПВ для представленная сплошной линией, является несколько более плоской в центре и несколько более толстой по хвостам, чем приближенная нормальная ФПВ большой выборки, представленная пунктирной линией. Сопоставление двух первых моментов этих ФПВ дается ниже.

(см. скан)

Рис. 4.5. Сопоставление апостериорной ФПВ для (сплошная кривая) и предельной нормальной аппроксимации (пунктирная кривая)

Математическое ожидание чрезвычайно близко к его нормальной аппроксимации. С другой стороны, дисперсия распределения примерно на 6% больше, чем дисперсия аппроксимирующего нормального распределения.

Мы концентрировали внимание на выводе коэффициентов регрессии. В некоторых случаях мы более заинтересованы в выводах относительно и в условиях модели (4.27) — (4.28), функции правдоподобия (4.35) и априорных допущений (4.36). В совместной априорной ФПВ (4.37) мы перейдем от переменных к переменным Якобиан этого преобразования есть . В терминах (4.37) имеет вид

Теперь мы выделим полный квадрат относительно в экспоненте:

где . Подставив полученное выражение в (4.47) и проинтегрировав по , мы имеем

т. е. выражение, представляющее собой двумерную апостериорную ФПВ для . Интегрируя (4.48) по мы получаем следующую маргинальную апостериорную ФПВ для Я:

Эта апостериорная ФПВ может быть проанализирована методами одномерного численного интегрирования. Следует заметить, что если бы не была принята гипотеза равенства векторов коэффициентов регрессии в (4.27) и (4.28) и предполагалось бы, что все коэффициенты регрессии, равномерно и независимо распределены, то вид апостериорной ФПВ для соответствовал бы -распределению. Выражение (4.49) отличается от -вида, потому что оно содержит информацию о том, что векторы коэффициентов в (4.27) и (4.28) равны.