3.2.5. Анализ моделей при условии вырожденности матрицы Х'Х

Матрица моментов ХХ будет вырожденной, если матрица X размерности имеет ранг q и . Это может случиться, например, если наблюдения за независимыми переменными удовлетворяют точной линейной зависимости и, следовательно, столбцы матрицы X не

являются линейно-независимыми, т. е. если например удовлетворяют точной линейной зависимости, то и, таким образом, ранг ХХ не равен как легко показать. Эта ситуация обычно называется «мультиколлинеарностью». Другим примером, в котором ранг X не может быть равен k, является случай , т. е. случай, когда число наблюдений меньше числа независимых переменных или коэффициентов, подлежащих оцениванию. Эта проблема часто возникает при анализе уравнений приведенной формы эконометрических моделей большой размерности, построенных в виде системы одновременных уравнений. Матрицы планирования эксперимента также могут быть неполного ранга 2.

Если матрица ХХ является вырожденной в силу любой из перечисленных выше причин, то обычно считается, что к выборочной информации должна быть добавлена в какой-либо форме априорная информация, для того чтобы была обеспечена возможность оценивания всех k коэффициентов регрессии. Ниже мы проанализируем модель с естественно сопряженной априорной ФПВ. Потом мы рассмотрим подход теории выборочных исследований, использующий псевдообратные матрицы, и дадим ему байесовскую интерпретацию 3.

В подходе к анализу регрессионной модели с вырожденной матрицей ХХ, используемом Райфой и Шлейфером [103], а также Эндо и Кауфманом [3], предполагается, что мы имеем априорную информацию о и , которая может быть представлена следующей естественно сопряженной априорной ФПВ:

где

и

Выражением (3.69) задана нормальная априорная ФПВ для при заданном с априорным математическим ожиданием и априорной ковариационной матрицей которая предполагается невырожденной. Выражением (3.70) задается априорная ФПВ для а в виде обратной гамма-ФПВ с априорными параметрами Априорным параметрам должны быть приписаны подходящие значения, представляющие априорную информацию, которой, по предположению, исследователь располагает.

Априорные ФПВ, представленные выражениями (3.69) и (3.70), легко объединить с функцией правдоподобия, представленной первой

строкой (3.27), и получить таким образом апостериорную ФПВ для и

где

Интегрируя (3.71) по а, получаем маргинальную апостериорную ФПВ для :

представляющую собой собственную апостериорную ФПВ в виде, соответствующем многомерному -распределению Стьюдента с математическим ожиданием , выражение для которого представлено в (3.72). Пользуясь (3.73), можно делать апостериорные выводы относительно всех компонент вектора . Таким образом, когда мы располагаем априорной информацией, которая может быть адекватно представлена априорными ФПВ (3.69) и (3.70), байесовский анализ модели весьма прост, даже в случае, если матрица ХХ предполагается вырожденной.

Далее мы рассмотрим подход к анализу модели в условиях вырожденности матрицы ХХ с помощью теории выборочных исследований и попытаемся дать ему байесовскую интерпретацию. Представляется удобным и целесообразным произвести перепараметризацию модели:

где у есть -мерный вектор-строка параметров, задаваемый выражением

а - ортогональная матрица размерности такая, что

где D есть невырожденная диагональная матрица с ненулевыми характеристическими корнями матрицы ХХ на главной диагонали. Тогда нормальные уравнения для у имеют вид

или

где причем суть соответственно -мерный и -мерные вектор-строки, а подматрица Р, заданная блочным представлением Из (3.76) заметим, что и, таким образом, вектор в правой части (3.78) имеет нулевой подвектор.

Полное решение системы нормальных уравнений (3.78) задается выражением

где (РХХР) обозначает матрицу, псевдообратную (ПОМ) к матрице РХХР, a z есть произвольный -мерный вектор-столбец. Непосредственная подстановке вектора y. заданного (3.79), в нормальные уравнения показывает, что y есть решение системы нормальных уравнений при любой ПОМ к РХХР и для любого .

Для того чтобы показать, как выбор ПОМ и выбор z влияют на шения систем нормальных уравнений, заметим, что

для любого выбора матриц С, Е и F является . Подставляя (3.76) и (3.80) в (3.79), имеем при

или

и

Как следует из (3.816), оцениватель параметра независим от выбора ПОМ и z. Однако выражение (3.81 в) для совершенно очевидно зависит от С и, таким образом, от выбора ПОМ,

Если, например, мы используем ПОМ Мура — Пенроуза, а именно

или любую ПОМ, где то оцениватель в выражении (3.816) не будет затронут. Однако в выражении (3.81в) обратится в

где произвольно.

Чтобы посмотреть, какие отсюда вытекают выводы для оценивания Р, вспомним, что в соответствии с вследствие чего из (3.79) имеем

поскольку , т. е. ПОМ к ХХ вырожденной матрице моментов Тогда из (3.81) следует

откуда очевидно, что и зависят от выбора ПОМ и

Теперь мы хотим применить байесовский подход для анализа модели в условиях вырожденности, причем априорная информация, используемая в изложенном выше подходе с применением ПОМ, будет представлена априорной ФПВ. Функция правдоподобия, выраженная в терминах параметров задается в виде

где . Фундаментальное значение имеет тот факт, что функция правдоподобия не зависит от

При подходе с помощью ПОМ, основанном на ПОМ вида (3.80), где мы представляем априорную информацию о и а следующей несобственной расплывчатой ФПВ:

Остальная априорная информация, соответствующая (3.816), принимает вид следующей линейной зависимости или граничного условия, связывающего :

Эта зависимость может быть предложена экономической теорией или может вытекать из каких-либо других соображений. Матрице С, а также векторам должны быть приписаны значения в соответствии с априорной информацией, имеющейся, по предположению, в нашем распоряжении.

Объединяя априорную ФПВ (3.87) с функцией правдоподобия (3.86), получаем апостериорную ФПВ для и с:

которая будет собственной, если . Математическое ожидание есть . Далее из (3.88) следует, что апостериорное математическое ожидание есть

что совпадает с точечной оценкой (3.816), полученной в подходе, опирающемся на теорию выборочных исследований и использующем ПОМ. Таким образом, несобственная априорная ФПВ (3.87), будучи объединенной с априорными зависимостями (3.88), дает апостериорные математические ожидания, совпадающие с оценками, получаемыми при использовании ПОМ-подхода.

Когда как это будет в случае применения ПОМ Мура — Пенроуза (3.82), априорные зависимости (3.88) упрощаются до

В байесовских терминах, если мы припишем значение и тем самым в (3.91), мы используем «догматическую» априорную информацию о иными словами, априорная ФПВ для будет вырожденной с

концентрацией всей массы в точке Далее из (3.88) очевидно, что принятие устраняет всякую зависимость от из нашего анализа.

Во многих ситуациях допущение (3.91) является довольно ограничительным, если дано, что значение известно неточно. Одним из путей ослабления этого априорного допущения является принятие

в качестве априорной ФПВ для компонент , а также допущения независимости от . Если дано, что Q — невырожденная матрица, то математическое ожидание этой ФПВ будет а дисперсия Используя (3.92), можно ослабить априорные допущения, выраженные (3.91). Объединяя априорные ФПВ (3.87) и с функцией правдоподобия (3.86), получаем апостериорную ФПВ:

Осуществив обратное преобразование от , получим из этой апостериорной ФПВ

где

Если дано, что , то апостериорная ФПВ (3.94) является собственной, поскольку есть невырожденная матрица, даже если матрицы и вырождены. Функция в (3.94) может быть использована для получения апостериорных выводов о .

Наконец, интересно исследовать, что получится, если мы введем расплывчатую априорную ФПВ для компонент в условиях вырожденности

ХХ. Если мы сделали допущение

апостериорная ФПВ для при заданном о запишется в виде следующей несобственной ФПВ:

где есть любое решение системы нормальных уравнений, т. е. системы . Как следует из (3.85), вектор не единствен. Поскольку (следует из (3.75)), мы можем выразить (3.97) в терминах y следующим образом:

Эта апостериорная ФПВ является произведением собственной нормальной ФПВ для с математическим ожиданием и расплывчатой апостериорной ФПВ для которая, разумеется, совпадает с априорной ФПВ для поскольку функция правдоподобия (3.86) не содержит Ввиду того что маргинальная апостериорная ФПВ для в (3.98) есть собственная нормальная ФПВ, распределение -мерного вектора-строки , где произвольная невырожденная матрица размером q X q, будет собственным вследствие чего могут быть получены выводы относительно при заданном а, например Для того чтобы связать эти результаты с вектором , заметим, что поскольку . Если R есть произвольная матрица размерности , а есть невырожденная матрица размером q X q, то есть -мерный вектор-строка, имеющий собственную нормальную ФПВ. Таким образом, хотя ХХ есть вырожденная матрица и мы не вводим априорной информации, возможны выводы относительно q линейно-независимых комбинаций компонент вектора , т. е. . В терминах теории выборочных исследований q линейных функций компонент вектора , т. е. называются «оценимыми» функциями.