10.4. СРАВНЕНИЕ РЕГРЕССИОННЫХ МОДЕЛЕЙ

Часто в эконометрике и других областях встречается необходимость сравнения альтернативных регрессионных моделей, служащих для объяснения отдельных зависимых переменных. Например, в работе Фридмана и Мейзельмана [44] изучаются две модели:

где индекс t — значение переменной в период времени потребление; предложение денег; автономные расходы;

возмущения; являются неизвестными регрессионными параметрами. Для выбора между (10.33) и (10.34) Фридман и Мейзельман используют как меру качества сглаживания коэффициент детерминации Интересно определить условия, при которых этот критерий, а именно выбор модели с большим значением совместим с выбором на основе минимизации ожидаемых потерь в байесовском подходе к теории принятия решений. Дополнительно мы рассмотрим общую байесовскую процедуру сравнения и выбора моделей.

Допустим, что имеется только две возможные модели для объяснения вариаций зависимой переменной, т. е. мы предположим, что наблюдаемый вектор генерируется либо

либо

где обозначает первую модель; вторую модель; являются заданными матрицами размерности и ранг каждой равен есть -мерные вектор-столбцы коэффициентов, причем оба не имеют общих компонент; есть -мерные вектор-столбцы возмущений. При условии, что корректная модель, допустим, что компоненты нормально и независимо распределены, каждая с нулевым математическим ожиданием и общей дисперсией, равной . Аналогично, в случае корректности модели компоненты нормально и независимо распределены, каждая с нулевым математическим ожиданием и общей дисперсией, равной

Что касается априорных ФПВ для параметров то мы используем следующую естественно сопряженную форму при

причем

и

где нормирующая постоянная . В (10.38) мы сделаем допущение, что располагаем собственной нормальной априорной ФПВ для компонент при заданном с априорным вектором математических ожиданий и ковариационной матрицей является заданной исследователем положительно-определенной симметрической матрицей размерности Согласно (10.39), априорная ФПВ для является ФПВ обратного Г-распределения с параметрами

величина которых задается исследователем. На (10.39) необходимо наложить ограничение для того, чтобы ФПВ была собственной.

Учитывая сделанные выше допущения относительно моделей , а также априорных ФПВ для параметров, можно использовать (10.19) в целях получения апостериорных шансов соотносящих две модели: . Если мы обозначим через априорные шансы, то получим

где для рассматриваемая как функция является функцией правдоподобия при условии, что допускается истинность модели иными словами, при

где . Для оценивания в (10.40) необходимо произвести указанные интегрирования. Иначе говоря, мы имеем

Для интегрирования по компонентам выделим полный квадрат относительно в экспоненте следующим образом:

где

Подставляя в (10.42) и интегрируя по компонентам с применением при этом свойств многомерной нормальной ФПВ, получим

где были введены следующие обозначения:

Интегрируя (10.44) по , получим

Производя подобные операции для оценивания интеграла в знаменателе (10.40), получим следующий результат для

где определяется способом, аналогичным использованному в (10.45):

где является вектором априорного математического ожидания вектора . Выражение

для в (10.46) может быть представлено в виде

где для обозначает ординату -ФПВ с степенями свободы.

Рассмотрим теперь интерпретацию выражения для в (10.48).

1. Первой сомножитель представляет собой априорные шансы. Если, например, мы не имеем оснований доверять одной модели более, чем другой, то мы должны положить а шансы равными

2. Второй сомножитель включает отношения Заметим из (10.38) и (10.43), что является мерой точности (или информации) в априорной ФПВ для при заданном относительно апостериорной точности (или информации) при заданном Апостериорная точность при заданном пропорциональна и зависит, таким образом, от С, и структурирующей матрицы Апостериорные шансы будут тем больше (меньше), чем больше (меньше) относительно . Этот вывод представляется разумным, так как при прочих равных мы должны предпочесть модель с большей априорной информацией, измеряемой с помощью разумеется, априорная информация находится в соответствии с информацией выборки (относительно последнего утверждения см. ниже).

3. Третий сомножитель в (10.48), именно включающий величины отражает то, что информация выборки может сообщить с точки зрения качества сглаживания моделей и с точки зрения соответствия априорной информации относительно вектора коэффициентов с информацией выборки, например Далее, является всего навсего остаточной суммой квадратов, мерой качества сглаживания, и

содержит разность между априорным вектором математических ожиданий и вектором являющимся «матричной» средней взвешенной векторов где есть выборочная оценка. Таким образом, чем теснее соответствие между тем меньше зависит от разности между выборочной оценкой и средней векторов равной . Подобные же выводы можно сделать относительно . Итак, для заданного , чем больше относительно , может быть, вследствие плохого качества сглаживания (больше ) и/или несоответствия априорной и выборочной информации относительно вектора тем меньше будут апостериорные шансы в пользу

4. Последний сомножитель в (10.48)

где показывает зависимость от априорной информации, касающейся (априорные ФПВ для этих параметров см. в (10.39)). Поскольку зависит от — априорного параметра, связанного с положением априорной ФПВ для (выборочной оценки будет зависеть от расхождения между этими двумя величинами. Далее, мы примем допущение, что иначе говоря, мы назначаем одинаковые априорные ФПВ для параметров Тогда должно выполняться равенство а сомножитель (10.49) принимает значение, равное единице, что является вполне разумным выводом. Его значение равно единице и при более общих условиях

Интересно изучить поведение апостериорных шансов в (10.48) в случае больших . С возрастанием так как стремятся к нулю. Допустим далее, что при росте При этих условиях, замечая, что в случае больших стремится к ФПВ -распределения с q степенями свободы, получим следующее выражение для апостериорных шансов:

если мы положим

Значение существенно зависит от относительных величин выборочных статистик Если то если если . Эти результаты интуитивно представляются привлекательными. Они относятся, однако, только к случаю больших и выполнения других, введенных ранее, допущений.

Наконец, полезно рассмотреть ситуацию в случае, если предположить, что априорная информация стремится стать расплывчатой; иными словами, это случай при допущении, что При этих условиях и, следовательно,

. Таким образом,

по мере того, как информация о становится все более расплывчатой. Далее мы допускаем, что при . И наконец, принимаем допущение, согласно которому . В этих условиях выражение для в (10.48) примет вид

т. е. будет функцией от отношения . Если то если , то и если , то Следовательно, как указывалось в параграфе 10.1, если функция потерь является симметрической, то действия по минимизации ожидаемых потерь при выборе между и связаны выбором модели, обладающей большей апостериорной вероятностью.

При настоящих допущениях этот результат совместен с правилом выбора модели на основе малых (или больших ). Конечно, это правило является действительным только в случае симметрической функции потерь и расплывчатой априорной информации или в случае больших и выполнения других рассмотренных выше условий.