ГЛАВА 4. СПЕЦИАЛЬНЫЕ ПРОБЛЕМЫ РЕГРЕССИОННОГО АНАЛИЗА

Темы, рассматриваемые в этой главе, дают примеры того, как специфицирующие регрессионную модель допущения, рассмотренные в 3-й главе, могут быть ослаблены; мы рассмотрим, например, регрессионную модель с автокоррелированными возмущениями. Поскольку эти и некоторые другие нарушения наших «стандартных» допущений встречаются на практике, важно иметь средства для их преодоления. Неспособность учета возможных нарушений стандартных допущений может, разумеется, привести к неверным выводам. Совершенно необходимо, чтобы исследователи, пользующиеся регрессионными моделями, критически изучали адекватность принятых ими допущений.

4.1. РЕГРЕССИОННАЯ МОДЕЛЬ С АВТОКОРРЕЛИРОВАННЫМИ ВОЗМУЩЕНИЯМИ

Сначала мы проанализируем простую регрессионную модель с возмущением, генерированным авторегрессионным процессом первого порядка, а именно:

В (4.1а) есть наблюдение за зависимой переменной, -скалярный коэффициент регрессии, наблюдение за независимой переменной, которая, по допущению, является нестохастической, возмущение. В (4.16) представлен авторегрессионный процесс, который, по допущению, генерирует возмущения. Это представление содержит скалярный параметр и ошибку Принимается допущение, что все нормально и независимо распределены с нулевым математическим ожиданием и общей дисперсией, равной Заметим, что если то (4.1 а, б) сводятся к простой регрессионной модели, удовлетворяющей стандартным допущениям 3-й главы.

Из (4.1 а, б) получаем

Заметим, что в (4.1 в) появляется и, таким образом, нужно что-то сказать о начальных условиях прежде, чем мы можем перейти к анализу модели.

Если мы допустим, что процесс, представленный (4.1 а, б), имел место для моментов времени , где момент неизвестен, мы можем записать , где

причем величина М может рассматриваться в качестве параметра, поскольку она зависит как от ненаблюдаемых, так и от наблюденных величин. В условиях этих допущений величина нормально распределена с математическим ожиданием и дисперсией, равной Эти допущения достаточно широки для того, чтобы охватывать как взрывную так и невзрывную схемы, равно как и ситуации, при которых процесс начинается в любой момент времени в прошлом.

С другой стороны, может случиться, что фиксированно и известно; например, если наблюдения относятся к цене и есть последний период, когда цена была зафиксирована государственным агентством, целесообразно считать фиксированным и известным. Эта ситуация тоже может быть представлена в рамках нашего построения, выполненного в предыдущем абзаце, путем принятия допущения, что имеет нулевую дисперсию. Для других обстоятельств могут оказаться пригодными другие допущения, т. е. что величина распределена нормально с известной дисперсией, равной или что распределена независимо от и что ее распределение не содержит ни одного параметра модели. Из нижеследующего изложения читатель убедится, что все эти допущения относительно ведут к одной и той же совместной априорной ФПВ для параметров .

В условиях принятых допущений совместная ФПВ для задается в виде

т. е. выражением, которое, будучи рассмотренным как функция от параметров, есть функция правдоподобия где . Вводя мы тем самым допускаем как взрывной, так и невзрывной процесс (4.16).

Относительно априорных допущений мы принимаем, что наша информация скудна, и полагаем равномерно и независимо распределенными, а именно

Объединяя эту априорную ФПВ с функцией правдоподобия, мы получаем следующую совместную апостериорную ФПВ для параметров:

Если мы заинтересованы в исследовании М, начального уровня процесса, можно получить апостериорную ФПВ для М, интегрируя (4.4) по . В противном случае можно элиминировать влияние этого параметра, интегрируя (4.4) по М, что дает

т. е. совместную апостериорную ФПВ для . При выводе (4.5) предполагалось, что величина нормально распределена с математическим ожиданием и дисперсией, равной Можно непосредственной проверкой убедиться, что использование различных допущений относительно обсуждение которых было дано выше, приводит также к (4.5) в качестве апостериорной ФПВ.

Интегрируя (4.5) по а, мы получаем следующее двумерное апостериорное распределение:

где суммирование производится от до . Двумерная ФПВ (4.6) обеспечивает возможность совместных выводов относительно ; иными словами, можно использовать процедуры двумерного численного интегрирования для вычисления нормирующей постоянной и получать, например, апостериорные вероятности того, что , где заданные числа. Легко также построить контуры апостериорной ФПВ для того, чтобы, получить информацию о форме этой двумерной апостериорной ФПВ.

Для получения маргинальной апостериорной ФПВ для нужно выделить полный квадрат относительно в первой строке (4.6) и воспользоваться свойствами -ФПВ Стьюдента для того, чтобы интегрированием исключить . Аналогично для получения маргинальной апостериорной ФПВ для нужно выделить полный квадрат по во второй строке (4.6) и исключить интегрированием , опять-таки используя свойства одномерной -ФПВ Стьюдента. Эти операции дают

Для того чтобы распределение (4.8) было собственным, величина должна быть положительной. Это предполагает, что

мы должны сделать допущение, согласно которому для любого существует такое t, что Это, однако, не слишком ограничительно.

Апостериорные ФПВ (4.7) и (4.8) могут быть проанализированы при помощи процедур одномерного численного интегрирования. В качестве иллюстрирующего примера мы построили эти ФПВ с использованием данных, генерированных следующей моделью:

где заданные в табл. 4.1, были взяты из таблицы стандартизированных случайных нормально распределенных отклонений. Переменная представляет собой инвестиционные расходы, взятые из статьи Хаавельмо [57] (в измененном масштабе). Первый ряд из 15 наблюдений был генерирован при а второй — при Мы будем называть первый ряд у «невзрывным» рядом, а второй — «взрывным». Хотя мы и проводим различие между этими двумя случаями, важно понять, что результаты, представленные (4.6), (4,7) и (4.8), пригодны для анализа обоих случаев.

Таблица 4.1

Графики ФПВ маргинальных распределений для этих данных представлены на рис. 4.1. Из этих графиков следует, что апостериорная

ФПВ для , полученная на основе взрывного ряда, является гораздо более островершинной, чем относящаяся к невзрывному ряду.

Апостериорные ФПВ для представленные на рис. 4.1, позволяют нам делать выводы относительно этого параметра, в которых учитывается возможность отхода от допущения независимости возмущений, постулированной в модели.

Рис. 4.1. Маргинальные распределения : (а) Невзрывной ряд Взрывной ряд

Учет возможности такого отхода чрезвычайно важен, поскольку при анализе в условиях допущения независимости получаются результаты, весьма сильно отличающиеся от результатов альтернативного случая. Как было показано в 3-й главе, в условиях допущения независимости мы получили бы

в виде, соответствующем одномерному -распределению Стьюдента, а именно

где Апостериорные ФПВ для , полученные в условиях допущения независимости возмущений, представлены на рис. 4.2 кривыми с меткой Эти ФПВ сильно разнятся от кривых, представленных на рис. 4.1.

Для того чтобы полностью уяснить себе ситуацию, представляется целесообразным выписать маргинальную ФПВ для в виде

Подынтегральное выражение в (4.9) содержит два сомножителя, а именно условную апостериорную ФПВ для при заданном и маргинальную апостериорную ФПВ для . Таким образом, как было установлено во 2-й главе, маргинальная апостериорная ФПВ для рассматривается как соответствующим образом взвешенная средняя условной ФПВ где весовой функцией служит ; иными словами, условная ФПВ обеспечивает возможность выводов относительно при некотором допущении о значении . С другой стороны, маргинальная ФПВ выражает обоснованность утверждений относительно в свете данных выборки и наших первоначальных допущений. Очевидно, что, если только условная ФПВ не является нечувствительной к изменениям , принятие допущения, что равняется некоторому фиксированному значению, например (наблюдения независимы) или (первые разности наблюдений независимы), может привести к апостериорной ФПВ для , сильно отличающейся от таковой, представленной в выражении (4.7).

Для того чтобы продолжить этот анализ, заметим, что условная ФПВ для при заданном , которая может легко быть получена из (4.6), есть

где

и

Из (4.10) имеем

иными словами, эта величина имеет -ФПВ Стьюдента с степенями свободы. Для того чтобы показать, насколько чувствительны выводы относительно к допущениям относительно , мы построим условные апостериорные ФПВ для при различных допущениях о значениях . Графики этих ФПВ представлены на рис. 4.2. Результаты показывают, что для невзрывного ряда центральное значение условной ФПВ сравнительно слабо чувствительно к изменениям , в то время как «сплюснутость» кривой распределения достаточно чувствительна к таким изменениям. С другой стороны, для взрывного ряда как центральное значение, так и «сплюснутость» кривой обнаруживают значительную чувствительность к изменениям . Поэтому неудачное допущение относительно может сильно повредить анализу. Этот результат подчеркивает важность работы с маргинальной апостериорной ФПВ для , которая правильно учитывает роль в модели.

Теперь мы обобщим эти методы и приложим их к многомерной регрессионной модели с возмущениями, генерированными авторегрессионным процессом первого порядка. Наша модель имеет вид 1

или, в другой записи,

где суть -мерные вектор-столбцы наблюдений; — Т-мерные вектор-столбцы автокоррелированных возмущений; есть -мерный вектор-столбец коэффициентов регрессии; — скалярный параметр; Т-мерный вектор-столбец случайных ошибок и, наконец,

являются матрицами размерности с заданными элементами.

Как и выше, мы сделаем допущение, что компоненты s нормально и независимо распределены, каждая с нулевым математическим ожиданием и общей дисперсией, равной . Далее мы сделаем допущения относительно начальных условий и априорных ФПВ для и аналогичные введенным выше. Наконец, мы сделаем допущение, что априори коэффициенты регрессии распределены равномерно и независимо, т. е.

(см. скан)

Рис. 4.2. Условные апостериорные ФПВ для Р при различных : (а) Невзрывной ряд (Т= 15); (б) Взрывной ряд

При этих допущениях совместная апостериорная ФПВ для задается выражением

где есть первая строка матрицы Интег рируя (4.15) по М и а, легко получить совместную апостериорную ФПВ для :

Для любого фиксированного значения , как это очевидно из первой строки (4.16), условная ФПВ для имеет вид

ФПВ (4.17) является многомерной -ФПВ Стьюдента, что и неудивительно, поскольку при заданном (4.12 в) может рассматриваться как обычная регрессионная модель, к которой применимы результаты 3-й главы.

Заметим, что при выводе (4.17) в неявном виде предполагалось, что матрица Н является положительно-определенной при любом фиксированном значении . Необходимое и достаточное условие этого будет приведено в приложении 1 к настоящей главе. Для случая это условие сводится к условию, которое было приведено в связи с (4.8), а именно что для любого существует некоторое t, такое, что . В более общем случае при это условие предполагает, что никакая линейная комбинация столбцов матрицы независимых переменных для моментов времени не должна удовлетворять точной авторегрессионной схеме первого порядка. Это условие не является ограничительным.

Для получения маргинальных апостериорных ФПВ для мы просто интегрируем (4.16) по этим параметрам. Это нетрудно сделать, выделяя полные квадраты и используя свойства одномерных и

многомерных -ФПВ Стьюдента, что дает

и

где были определены в связи с (4.17).

Если в центре интересов исследователя лежит маргинальное апостериорное распределение одной компоненты , скажем то ее апостериорная ФПВ может быть в принципе получена из (4.18) путем интегрирования. Однако это интегрирование как с аналитической, так и с численной точки зрения представляется затруднительным, в особенности когда k велико. В качестве альтернативы можно предложить

где задается (4.19) и можно получить из (4.17) путем интегрирования по остальным компонентам . На основании свойств многомерного -распределения мы имеем из (4.17)

где обозначает элемент (1,1) матрицы

Результат, представленный в (4.21), дает нам вид второго сомножителя правой части (4.20). С помощью процедуры численного двумерного интегрирования можно исключить и таким образом получить маргинальную апостериорную ФПВ для

Другая альтернатива заключается в том, что мы можем получить , интегрируя (4.16) по Для осуществления такого интегрирования мы представляем в блочном виде где обозначают первые столбцы соответственно. Далее, вводя обозначение

мы получаем

Интегрирование по дает

где

а вектор w определен в (4.22). Апостериорная ФПВ для может быть получена из (4.23) путем численного интегрирования. Преимущество выражения (4.23) заключается в том, что его использование связано с обращением матрицы Н размерности в то время как при использовании (4.20) нужно обращать матрицу Н размерности k X k. Далее заметим, что Н является Н-матрицей второй степени по . Следовательно, обратная к ней матрица может быть выражена как -матрица степени по , деленная на скалярный многочлен степени по . Представление матрицы, обратной к Н, в таком виде удобно с вычислительной точки зрения, поскольку тем самым удается избежать необходимости отдельного обращения матрицы для каждого значения при интегрировании.

Полученные выше результаты и методы легко приложимы на практике для получения выводов относительно и . В свете этого подробное развертывание идеи приближенных методов для больших выборок представляется малооправданным. Интересно, однако, сравнить результаты приближенной процедуры для больших выборок с результатами, вытекающими из приложения изложенного выше подхода. Как было показано в (4.12 в), наша модель имеет вид

Заметим, что есть нелинейная комбинация параметров. Линеаризуем модель путем разложения в ряд в окрестности оценок наибольшего правдоподобия, которые обозначим через и , и приложим к линеаризованной модели теорию оценивания линейных моделей. Разложение дает

или

т. е. выражение, линейное относительно параметров и . Приложение линейной теории, развернутой в 3-й главе, наряду с обычно используемыми равномерными ФПВ в (4.26) дает апостериорную ФПВ

Для в виде, соответствующем многомерному -распределению. Для иллюстрации полученных результатов мы применили процедуры линеаризации для анализа данных, представленных в табл. 4.1, в варианте, генерированном простой невзрывной моделью. Затем первоначальная выборка из 15 наблюдений расширялась до 20, 30 и 40 наблюдений.

Рис. 4.3. Точные и приближенные маргинальные ФПВ для , соответствующие нескольким выборкам разных объемов для невзрывного ряда

На рис. 4.3 полученные приближенные ФПВ для нашего скалярного параметра сопоставляются с точными ФПВ, построенными в соответствии с (4.7).

Хотя моды приближенных и точных ФПВ приходятся примерно на одни и те же значения, можно убедиться в том, что формы кривых довольно сильно отличаются. Однако при приближенные и точные ФПВ находятся в хорошем согласии. Эти результаты наглядно показывают, насколько исследователю надо быть осторожным при использовании аппроксимаций, основанных на больших выборках.