Глава 8. МНОГОМЕРНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ

Во многих случаях в экономике и других областях мы встречаемся с системой регрессионных уравнений. Более того, во многих случаях возмущения в разных уравнениях коррелированы; например, если мы имеем систему регрессионных зависимостей, относящихся к фирмам из одной и той же отрасли промышленности, то вероятнее всего, что возмущения в регрессионных уравнениях для одной фирмы коррелированы с возмущениями в уравнениях для других фирм Это может иметь место ввиду того, что фирмы из одной и той же отрасли промышленности испытывают общие случайные воздействия. Или если мы имеем систему уравнений типа спроса и предложения, то в этом случае возмущения в различных уравнениях спроса часто могут быть коррелированными. Существенно, чтобы зависимость возмущений была принята во внимание в процессе получения выводов. Если это не будет сделано, то полученные выводы будут весьма ненадежными.

В данной главе мы вначале проанализируем традиционную многомерную регрессионную модель. Затем внимание будет направлено на интерпретацию и анализ регрессионной модели, независимость уравнений которой является кажущейся («модель с кажущейся независимостью»). Эта модель является в некоторых отношениях более общей, чем традиционная модель, ее приложения часто описывались в литературе.

8.1. ТРАДИЦИОННАЯ МНОГОМЕРНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ

Мы предполагаем, что есть матрица размерности наблюдений за переменными, которая порождается моделью

где X есть матрица размерности и ранга k, причем k является числом независимых переменных, числом имеющихся наблюдений. В есть матрица размерности параметров регрессии, а матрица размерности ненаблюдаемых случайных возмущений. Примем допущение, что строки U распределены независимо, каждая по -мерному нормальному закону с нулевым

вектором математического ожидания и положительно-определенной ковариационной матрицей размерности . В этих условиях ФПВ для Y при заданных будет иметь вид

где символ обозначает операцию нахождения следа. Заметив, что

где

является матрицей оценок метода наименьших квадратов, а

есть матрица, пропорциональная выборочной ковариационной матрице возмущений, мы можем выписать функцию правдоподобия для в следующем виде:

Сделаем допущения о скудости априорных знаний относительно параметров, т. е. элементов матрицы различных элементов матрицы .

Что же касается расплывчатой априорной ФПВ, мы допустим, что элементы матрицы В и соответствующие элементы матрицы независимо распределены, т. е. имеет место

В (8.7) согласно теории инвариантности Джеффриса положим

и

причем в отношении (8.9) мы заметим, что в частном случае при имеет место

- априорное предположение, которое мы использовали выше много раз. Интересно также отметить, что если мы обозначим через элемент матрицы 2, то якобиан преобразования переменных можно записать как

Соответственно априорная ФПВ в (8.9) предполагает следующую априорную ФПВ различных элементов матрицы 2-1:

т. е. расплывчатую априорную ФПВ, использованную Сэвиджем [115], который пришел к тому же результату с помощью несколько иной аргументации, и другими авторами. В дополнение к подходу с точки зрения теории инвариантности Джеффриса, приведшему к (8.12), Гейсер [48] обратил внимание на то, что (8.12) могло бы следовать из принятия в качестве информативной априорной ФПВ для 2-1 ФПВ Уишарта и принятия равным нулю «числа степеней свободы» в этой априорной ФПВ. В отношении расплывчатых априорных ФПВ (8.8) и (8.9) Гейсер [48] также замечает: «Эти ненормированные ФПВ, или весовые функции, по-видимому, могут быть «объяснены» на основе различных правил, например инвариантности, сопряженных семейств, устойчивого оценивания и т. п., или эвристическими аргументами. Хотя их использование здесь не обязательно устраняет других претендентов, которые могут быть рассмотрены в качестве меры незнания, с нашей точки зрения, в настоящее время не существует других, более подходящих или удобных мер. Тот факт, что их применение во многих случаях приводит к тем же самым доверительным областям, что и в классической теории, определенно не является препятствием для их использования, но, более того, в действительности обеспечивает байесовскую интерпретацию этих хорошо разработанных классических процедур».

Учитывая сказанное относительно расплывчатых априорных ФПВ (8.8), (8.9) и (8.12), мы объединим их с функцией правдоподобия (8.6), чтобы получить следующую совместную апостериорную ФПВ для параметров:

или

Учитывая (8.13 а), мы можем написать

где

причем , а символ обозначает кронекерово, или прямое матричное, перемножение, и

где

Из (8.14) видно, что условная апостериорная ФПВ В при заданной 2 является многомерной нормальной ФПВ с вектором математических ожиданий и ковариационной матрицей Если основной интерес представляет некоторый отдельный вектор коэффициентов системы, скажем , то его условная апостериорная ФПВ имеет вид

Она, разумеется, является нормальной с вектором математических ожиданий и ковариационной матрицей

Маргинальная апостериорная ФПВ , заданная (8.15), является тем, что Тиао и Зельнер называют «обратной» формой Уишарта. Они показали [139], что элементы верхнего главного минора размерности матрицы также имеют апостериорную ФПВ в форме обратной ФПВ Уишарта:

где есть верхний главный минор матрицы S. В частности, если апостериорная ФПВ есть

т. е. имеет форму обратной гамма-ФПВ. Если мы имеем только одно уравнение регрессии , то (8.18) должно быть специфицировано

в виде

Из (8.18) видно, что при увеличении апостериорная ФПВ становится все менее и менее сконцентрированной около Этот результат интуитивно представляется весьма привлекательным, так как при увеличении большая часть информации выборки используется для оценивания . В действительности показатель степени величины в (8.18) отличается от аналогичного показателя в (8.19) на . Таким образом, мы можем сказать, что «для каждого из элементов потеряна одна степень свободы».

Далее, рассматривая (8.17) для случая мы можем следовать теории, развитой Джеффрисом для получения апостериорной ФПВ для коэффициента корреляции которая имеет вид

где

Результат в (8.20), за исключением изменений числа «степеней свободы», по форме совпадает с результатом, полученным Джеффрисом для выборки из двумерной, нормально распределенной генеральной совокупности.

Для того чтобы получить маргинальную апостериорную ФПВ для некоторого отдельного вектора коэффициентов уравнений, скажем, вектора , уместно заметить (из (8.16)), что условная апостериорная ФПВ для вектора при заданной зависит только от Таким образом, из (8.16) и (8.18) мы имеем маргинальную апостериорную ФПВ распределения вектора

которая имеет форму ФПВ многомерного -распределения (распределения Стьюдента). Это позволяет нам легко сделать выводы относительно элементов . Если мы имеем точно одно уравнение регрессии, т. е. то (8.22) сведется к результату, полученному ранее в 3-й главе. В случае единственным различием является изменение числа «степеней свободы» вследствие включения в модель параметров . Несколько иной путь рассмотрения этой проблемы состоит в переходе к случаю системы уравнений регрессии с диагональной ковариационной матрицей, содержащей неизвестные

дисперсии на главной диагонали. Тогда, если априорная ФПВ выбрана в виде , маргинальная апостериорная ФПВ для должна быть в форме ФПВ многомерного -распределения, как показано в (8.22), но с показателем . В случае недиагональной ковариационной матрицы , т. е. в случае коррелированных наблюдений, в данных содержится меньше информации, чем в случае некоррелированных наблюдений, и этот факт отражен в (8.22) посредством уменьшения числа степеней свободы сравнительно со случаем отсутствия корреляции.

Что касается совместной апостериорной ФПВ всех регрессионных коэффициентов регрессии, представленных матрицей В, то, используя свойства ФПВ Уишарта при интегрировании (8.136) по различным элементам матрицы , получим

откуда следует

так как интеграл в (8.23) в точности равен нормирующей постоянной ФПВ Уишарта и не зависит от параметров В. Совместную ФПВ (8.24) называют «обобщенной многомерной ФПВ Стьюдента». Рассмотрим некоторые свойства этой ФПВ.

Во-первых, как мы уже видели, маргинальная апостериорная ФПВ вектора коэффициентов регрессии, скажем, вектора является -ФПВ Стьюдента (см. (8.22)). Мы сейчас покажем, что если выразить совместную ФПВ в виде

то каждый из сомножителей в правой части (8.25) может быть выражен в виде многомерной -ФПВ Стьюдента 3. Вначале мы получим выражение для Заметим, что определитель в (8.24) может быть представлен в виде

где есть верхний левый главный минор размерности матрицы Введем обозначение

Затем, после некоторых алгебраических преобразований, получим

где

Воспользуемся теоремой Точера [140], которая гласит, что если А является матрицей размерности матрица размерности то справедливо следующее матричное равенство:

С помощью (8.30) и замечая, что получим

и

Таким образом, является элементом матрицы . Теперь можно заметить, что второй сомножитель в правой части (8.29) имеет вид

где .

Пользуясь (8.29) и (8.32), мы можем выписать совместную ФПВ для матрицы В, приведенную в (8.24) в следующем виде:

Определитель матрицы равен:

Известно, что если А и В являются матрицами, размерность каждой из которых , то . Обобщим эту

теорему на случай, когда А является матрицей размерности , а В есть матрица размерности . Предположим, что . Тогда

Воспользовавшись этим результатом, мы можем второй определитель в правой части (8.34) представить в виде

Следовательно,

Соответственно ФПВ (8.33) может быть записана в виде

где

и

Из (8.38) видно, что условная ФПВ вектора может быть представлена в форме ФПВ многомерного -распределения Стьюдента, тогда как форма маргинальной ФПВ в (8.37) совпадает с формой первоначальной ФПВ для матрицы В (см. (8.24)), за исключением, конечно, изменений в размерности матрицы и значения показателя степени определителя. Продолжая рассмотренный процесс раз, мы сможем выразить совместную ФПВ матрицы В в виде

где определяют, как и выше, полагая, что

Сомножители в (8.39) в точности соответствуют сомножителям в (8.25). Отсюда становится ясно, что первый сомножитель является маргинальной ФПВ вектора что, конечно, находится в согласии с (8.22). Таким образом, ФПВ обобщенного многомерного -распределения Стьюдента является интересным примером, иллюстрирующим тот факт, что, хотя условная ФПВ и маргинальная ФПВ для определенных подмножеств их переменных имеют форму ФПВ многомерного

-распределения Стьюдента, совместная ФПВ имеет форму, отличную от этой ФПВ.

В качестве второго свойства обобщенной многомерной -ФПВ Стьюдента получим маргинальную апостериорную ФПВ матрицы являющейся подматрицей В:

Из (8.40) видно, что элементами являются коэффициенты при тех неизвестных во всех уравнениях системы, которые содержатся в матрице Хх. Используя результаты Гейсера [48], можно показать, что определитель в (8.24) равен:

Здесь мы выделили полный квадрат относительно При этом

и

т. е. выражение, не зависящее от Таким образом, совместная ФПВ матриц имеет вид

Если ФПВ в (8.42) рассматривать как функцию только при заданной то ее форма совпадает с формой ФПВ в (8.24.) Используя свойства обобщенной многомерной -ФПВ Стьюдента 1 и проинтегрировав (8.42) по получим

где F была определена выше и обозначает число строк в Отсюда видно, что маргинальная апостериорная ФПВ матрицы является обобщенной многомерной -ФПВ Стьюдента. Таким образом, результаты Тиао и Зельнера могут быть привлечены в этом анализе для получения маргинальной ФПВ любого столбца матрицы , а также условных ФПВ.

Обсудим последнее свойство совместной ФПВ матрицы В в (8.24). Гейсер отмечает, что величина

распределена как определенное Андерсоном произведение бета-распределенных переменных. Следовательно, как отмечает Гейсер, апостериорная ФПВ для U, где В есть случайная матрица, а все другие величины фиксированы, является такой же, как и выборочная ФПВ для U, где В фиксирована, a S и В являются множествами случайных переменных. Тогда апостериорная область для элементов матрицы В определяется посредством

где есть перцентиль.