2.5. Псевдонезависимые регрессии

До сих пор мы имели дело с оцениванием одной регрессии. Часто требуется оценить одновременно несколько регрессий, некоторое семейство их. Совокупность таких регрессий будем называть псевдонезависимыми регрессиями (seemingly unrelated regressions). Этот термин был впервые введен А. Зеллнером в 1197], откуда и начинается систематическое изучение псевдонезависимых регрессий. Псевдонезависимыми считаем регрессии потому, что, во-первых, независимые переменные могут одновременно входить сразу в несколько регрессий; во-вторых, отклонения разных регрессий могут коррелировать. В то же время псевдонезависимые регрессии отличаются от эконометрических моделей (синхронных регрессий), поскольку зависимые переменные в первом случае присутствуют только в левых частях уравнений.

Псевдонезависимые регрессии допускают применение МНК к каждому уравнению регрессии в отдельности. Однако в данном случае такой метод не будет эффективным в классе несмещенных линейных оценок. Дело в том, что отклонения в псевдонезависимых регрессиях в общем случае

коррелируют для разных уравнений, поэтому оценка Эйткена является более эффективной, чем МНК. Ранее (см. параграф 2.1) метод Эйткена был практически неприменим из-за отсутствия весовой матрицы или ее оценки. В случае псевдонезависимых регрессий удается построить состоятельную оценку этой матрицы, использование которой приводит к стохастическому эквиваленту оценки Эйткена — оценке Зеллнера. Естественным обобщением оценки Зеллнера является итеративная оценка Зеллнера порядка, которая по своей природе близка к оценке ММП в предположении нормальности отклонений.

Не всегда исследование свойств оценок псевдонезависимых регрессий проводилось на достаточно строгом уровне. Многие предположения опускались, использовалось большое число недоказанных результатов (см., например, [197]). По возможности мы старались доказательства делать наиболее полными, а утверждения формулировать строго.

Итак, пусть имеется линейных регрессий

где соответственно вектор зависимой переменной, матрица независимых переменных, вектор неизвестных параметров, подлежащий оцениванию, вектор случайных отклонений. Систему (2.42) будем называть системой псевдонезависимых регрессий. Относительно всюду в дальнейшем будем предполагать, что: а) детерминированные матрицы, априорное множество параметров совпадает с Предположение в) влечет стохастическую зависимость регрессий системы (2.42). Если через обозначить вектор-столбец отклонений, соответствующий номеру наблюдения или моменту времени и составленный из отклонений системы (2.42), то Естественно, мы считаем Таким образом, необходимо оценить дополнительно неизвестных параметров.

Система (2.42) может быть сведена к одной регрессии. Для этого построим новые векторы и матрицы размерности

соответственно, где

Система (2.42) перепишется в виде

Легко видеть, что и

Найдем матрицу ковариаций вектора По определению имеем

где знак кронекерова произведения матриц (см., например, единичная матрица

Если матрица известна, то, применяя обобщенный метод наименьших квадратов, придем к оценке Эйткена, которая является несмещенной и линейно эффективной (параграф 2.1):

Оценка МНК для составной регрессии (2.43) также является несмещенной, но уже не будет эффективной:

Легко проверяется, что

и поэтому

Тогда (2.45) переписывается следующим образом:

Другими словами, оценка (2.45) совпадает с оценкой МНК, примененного к каждому уравнению системы (2.42) в отдельности.

При некоторых условиях оценка Эйткена (2.44) совпадает с оценкой как показано в [96]. Ясно, что эти оценки будут совпадать, если т. е. когда корреляции между разными уравнениями регрессий отсутствуют. В этом случае, применяя МНК к каждому уравнению (2.42), получаем несмещенные линейно эффективные оценки. Однако существует другая нетривиальная ситуация, когда Покажем, что если все матрицы

совпадают, то Итак, пусть Преобразуем сначала оценку МНК:

Распишем оценку Эйткена:

что совпадает с оценкой а. Таким образом, если матрицы одинаковы во всех регрессиях, то оценка МНК эффективна.

Как правило, матрица неизвестна. Однако в случае псевдонезависимых регрессий можно построить весьма удовлетворительную оценку для Я. Пусть а оценка МНК параметра Обозначим

Положим

Можно доказать, что при весьма слабых предположениях оценка матрицы на основе (2.46) является состоятельной. При этом мы не будем накладывать на матрицу X каких-либо ограничений при

Теорема 2.8. Допустим, отклонения для разных независимы и имеют конечный четвертый момент Тогда оценка (2.46) является состоятельной оценкой в смысле сходимости в среднем квадратичном. Доказательство теоремы дано в [23].

Состоятельную оценку можно подставить в формулу (2.44). Соответствующую оценку будем называть оценкой Зеллнера:

Получив оценку Зеллнера, можно по аналогии построить целый класс оценок неизвестного вектора параметра а, которые назовем итеративными оценками Зеллнера порядка; этй оценки строятся рекурсивно: пусть итеративная оценка Зеллнера порядка; построим на ее основе оценку

тогда определим как

где рассчитывается по формуле (2.48); примем за оценку МНК; - оценка Зеллнера (2.47). Теоретически процесс можно продолжать до бесконечности. Если предел существует, назовем его итеративной оценкой Зеллнера

В работе [23] доказано, что при выполнении условия Эйкера оценка Зеллнера состоятельна и что оценки (2.49) будут состоятельны, если матрицы сильно регулярны. При этом условии может быть доказана асимптотическая нормальность оценки Эйткена, итеративной оценки Зеллнера и оценки [64, 197].

Если закон распределения отклонений с точностью до матрицы ковариаций известен, то возможно применение метода максимального правдоподобия. Предположим, что в — нормально распределенные случайные векторы, т. е. Обозначим тогда, как нетрудно проверить, функция плотности распределения вектора у запишется:

Оценка ММП соответствует максимуму минимуму функции

Объясним, что мы понимаем под аргументом функции Матрица представляется набором чисел, т. е. вектором из обозначим через Е a множество тех векторов, которые соответствуют положительно определенным матрицам. Общий вектор-аргумент функции принадлежит Можно показать, что открытое множество.

Минимизация функции (2.51) почти наверное корректна. А именно функция (2.51) ограничена снизу почти для всех 8 (см. задачу 6 упражнения 2.5). Однако можно показать, что эта функция не является выпуклой вниз, поэтому минимизировать ее необходимо с определенной осторожностью (см. приложение

Необходимым условием обращения (2.51) в минимум в некоторой точке является равенство нулю в этой точке производных по Легко проверить, что (приложение Далее очевидно, что

где единичная матрица, расположенная в -блоке. Имеем

Но по формуле поэтому с учетом

Допустим, значение известно, тогда, приравнивая к нулю, получаем оценку

Обратно, если а известно, то, приравнивая (2.53) к нулю, найдем

На нулевом шаге итерационной процедуры в качестве приближения можно взять оценку МНК, по ней построить по формуле (2.55) оценку затем снова найти оценку (2.55) и т. д. Процедуры (2.54) и (2.55) полностью совпадают с итеративной оценкой Зеллнера порядка, а предел, если он существует, равен

Естественно встает вопрос о сходимости итеративной процедуры (2.54) и (2.55) к оценке ММП. Если бы функция (2.51) была выпуклой вниз, то сходимость установить было бы нетрудно. Однако это не так. Поэтому вместо сходимости к глобальному минимуму функции (2.51) можно говорить лишь о сходимости точек, градиент в которых равен нулю. Доказательство того, что если существует, то это значение удовлетворяет уравнению дано в [168].

Доказано [172], что найдется такая окрестность истинного вектора параметров а, что почти для всех у существует начиная с которого последовательность сходится к оценке ММП, если начальное приближение лежит в выбранной окрестности а.

До сих пор мы рассматривали асимптотические свойства оценок, наибольший интерес из которых представляет оценка Зеллнера Остановимся на свойствах оценки при конечных объемах выборки. Единственное, что доказано в общем случае, это несмещенность оценки Зеллнера при условии, что имеют симметричное распределение (см. [142]). Этот факт доказывается весьма просто: оценку (2.47) можно переписать как

В силу симметричности распределения 8 второе слагаемое в (2.56) также симметрично распределено, а значит, Осталось показать, что

Обозначим случайную матрицу, стоящую под знаком математического ожидания, через А. Тогда Поэтому все элементы матрицы конечны, так как в противном случае не было бы выполнено тождество

Других свойств доказанных в общем случае, найдено не было.

В работах [175,164, 198] исследуется система псевдонезависимых регрессий для случая В [175] разбирается частный случай, когда является подматрицей Более того, берется так называемая «оценка без ограничений», т. е. регрессирует на множество всех х системы (2.42). Оценка (2.46) является оценкой с учетом ограничений. Первую оценку обозначим , а соответствующую оценку Зеллнера — через Далее предполагается нормальность отклонений. При сделанных предположениях доказано, что оценка (т. е. оценка Зеллнера для второго уравнения) совпадает с оценкой в то же время т. е. является линейно эффективной оценкой. Основной результат, полученный в [175], состоит в том, что если то оценка более эффективна, чем Наоборот, при малых значениях оценка МНК может быть эффективнее оценки Зеллнера. Полученный результат можно было предугадать. При уменьшающихся значениях оценка МНК приближается к линейно эффективной, а в условиях «нормальной» гипотезы — к эффективной несмещенной оценке.

Аналогичное исследование проведено в [164]; там приняты те же предположения, что и в [175], но не считается, что является подматрицей а рассматривается общий случай. Результаты, полученные этими авторами, также похожи на результаты [175]: при малых более эффективен МНК, при высоких метод Зеллнера. Кроме значения на сравнительную эффективность МНК и метода Зеллнера оказывает зависимость между независимыми переменными в первом и втором уравнениях. В качестве коэффициента зависимости между в [164] предложено брать характеристические числа матрицы Можно показать, что В [199] показано, что — квадраты коэффициентов канонической корреляции между В [164] приведена таблица, с помощью которой для значений и 23 для различных значений и К можно вычислить

относительную эффективность оценки МНК по отношению к оценке Например, оказывается, что если где К — общее число независимых переменных, и то оценка заметно эффективнее оценки МНК; с другой стороны, если или то выигрыш будет либо равен нулю, либо незначителен. Для малых выборок, т. е. если область «неэффективности» z весьма широка: Окончательный вывод, к которому приходят авторы, следующий: если то предпочтительнее выбирать а не оценку если эффективность будет не высока по сравнению с а; при малых выборках будет по-прежнему более эффективна, если достаточно велико, а близки к нулю.

В [198] рассматривается другой частный случай, когда экзогенные переменные в разных уравнениях ортогональны друг другу, т. е. В этом случае поэтому рассмотренная там ситуация является наиболее благоприятной для оценки Там же табулируется функция сравнительной эффективности для разных значений

В работе [147] проведено тщательное исследование методом Монте-Карло конкурирующих оценок псевдонезависимых регрессий: оценки МНК, оценки Зеллнера, итеративной оценки ММП. Авторы рассмотрели 4 модели: первая модель состояла из двух уравнений, вторая — небольшая модификация первой, третья — из четырех уравнений и пятая — из двух уравнений, где в качестве некоторых независимых переменных рассматривались независимые переменные с лагом. Кроме этого было выбрано 10 различных спецификаций для случайных отклонений. Например, в одной из спецификаций для первой, второй и четвертой моделей полагался равным 0,925 и 0,6; для третьей модели и 0, В других спецификациях

Основной вывод, к которому пришли авторы, следующий: оценка Зеллнера, итеративная оценка Зеллнера и оценка ММП оказались практически одинаковыми. По этой причине предпочтительнее оценка Зеллнера, как наиболее простая из трех оценок. Оценка МНК оказалась менее эффективной, чем оценка Зеллнера для большинства экспериментов.

Упражнения 2.5

(см. скан)