5.6. АЛЬТЕРНАТИВНЫЕ ДОПУЩЕНИЯ О ВЕТВЯЩИХСЯ ПАРАМЕТРАХ

В этом параграфе мы будем анализировать МОП в условиях допущения, что ветвящиеся параметры, т. е. компоненты 1, могут быть представлены линейной комбинацией независимых наблюдаемых переменных; иначе говоря, , где являются наблюдаемыми значениями, a k величин суть неизвестные параметры. Важность этого допущения заключается в том, что в его условиях число параметров модели уже не зависит от объема выборки ; иными словами, вместо неизвестных мы теперь имеем дело с k неизвестными , и, таким образом, осложнения, связанные с проблемой ветвящихся параметров, часть которых обсуждалась выше, обходятся. В этом случае наша модель имеет вид:

или

где являются -мерными вектор-столбцами наблюдений; X — матрицей наблюдений за k независимыми переменными, размерности а к и ранга вектор-столбцом параметров; —скалярным параметром а их и вектор-столбцами ошибок. Мы сделаем допущение, что причем в последнем равенстве в правой части стоит матрица размерности , все элементы которой являются нулями. Таким образом, мы предполагаем, что ошибки имеют нулевые математические ожидания, гомоскедастичны и не коррелированы. В дальнейшем мы потребуем для ошибок еще и допущения нормальности.

Прежде чем обратиться к байесовскому анализу модели будет полезным рассмотреть подходы с позиций теории выборочных исследований, которые находят довольно широкое применение, в особенности так называемый подход с помощью «инструментальных переменных» . При этом подходе обычно предполагается, что, если бы значения вектора в (5.100) были известны, выражение представляло бы простую регрессионную модель, анализ которой не вызывает затруднений. Поскольку на практике значения компонент известны крайне редко, с. помощью (5.99) получают оцениватель а затем строят регрессию по получая, следующий, оцениватель для :

где а объяснение нижнему индексу оценивателя будет дано в ходе последующего изложения. Этот оцениватель, часто называемый оценивателем «двушагового метода наименьших квадратов» (2МНК), очевидно, представляет собой условное выражение, полученное при условии, что

Если мы введем определение и сделаем подстановку в (5.99) — (5.100), то система примет вид:

Значения компонент вектор неизвестны, однакб можно использовать (5.103) для получения вектора оценок, а именно где . Затем полученную оценку можно подставить в (5.102). Тогда оцениватель получается путем регрессии по и перехода к величине, обратной оценивателю углового

коэффициента, т. е.

где

Сделаем несколько замечаний относительно оценивателей

1. Как так и являются состоятельными оценивателями

2. В малых выборках распределения различаются , например, в условиях допущения нормальности для вектора ошибок оцениватель может иметь конечное математическое ожидание, в то время как, вообще говоря, математическое ожидание и более высокие элементы не существуют.

3. Если существует математическое ожидание ), то, как указывается в литературе, имеет смещение в сторону нуля, т. е. Эвристически это смещение возникает вследствие того, что замена на (5.100) вводит ошибку измерения в независимую переменную в условиях конечного объема выборки.

4. Оцениватель в (5.99) — (5.100) использует только наблюдений за Поскольку тоже содержит выборочную информацию, относящуюся к в этом случае при помощи оценивателя я; оценивание осуществляется на базе лишь части имеющейся у исследователя выборочной информации.

5. Тот факт, что и являются разными оценивателями, означает, что числовые результаты на практике будут различными в зависимости от того, какой оцениватель применяется.

В качестве альтернативы подхода, ведущего к оценивателям вида для , рассмотрим следующий подход с помощью метода наименьших квадратов. Сумма квадратов , которую нам надлежит минимизировать по и , имеет вид

где . Если мы выделим полный квадрат относительно в (5.105), то получим

где

Из (5.106) и положительной определенности матрицы М следует, что условное минимизирующее значение для дается формулой

где Поскольку для оценивания служит мы можем записать (5.107) в виде

Таким образом, является взвешенной средней двух оценивателей для а именно . При заданном , или , т. е. к значению, употребленному выше для построения оценивателя в то время как если т. е. мы пользуемся только информацией, содержащейся в для получения оценки участвующей в построении оценивателя рассмотренного выше. В общем же случае в (5.108) использует информацию как так и наблюдений, и, таким образом, является более точным оценивателем для чем оцениватель, базирующийся только на наблюдениях.

Полагая в мы получаем

где при . Дифференцируя (5.109) по и приравнивая производную нулю, мы получаем

в качестве необходимого условия для , минимизирующего . Следует заметить, что (5.110) имеет точно ту же форму, как и необходимое условие, возникающее в классической МОП, за исключением того, что выборочные моменты выражены в терминах «расчетных» значений Решая квадратное уравнение (5.110) относительно , переходим к

в качестве оценивателя для при заданном . Ввиду того что в данной задаче мы можем оценить , а именно

оцениватель для , может быть получен путем принятия в (5.111). Кроме того, можно подставить в (5.108) и получить оцениватель для

Из (5.109) очевидно, что при минимизирующее значение для равно . С другой стороны, при минимизирующее значение для стремится к равному . Для любой заданной выборки нетрудно показать, что справедливо

Кроме при все три оценивателя сходятся к истинному значению .

Система (5.99) — (5.100) может быть расширена путем включения свободного члена и других наблюдаемых независимых переменных:

где W есть матрица размерности и ранга наблюдений за независимыми переменными; есть -мерный вектор-столбец неизвестных параметров. Как и выше, мы рассматриваем задачу минимизации

по , причем Дифференцируя по , мы получаем значение 0, соответствующее условному минимуму.

которое при подстановке в (5.116) дает

где

Ввиду того что (5.118) имеет точно такой же вид, как (5.105), получение минимизирующих знамений для и может быть осуществлено тем же самым путем. Получаемый в результате оцениватель будет зависеть от и, как и выше, мы можем получить оценку опираясь на которую получаем расчетную оценку . Полученные оценки и могут послужить для получения оценки подстановка которой в (5.117) дает оценку в.

Рассматривая приведенные выше результаты, которые были получены с помощью теории выборочных исследований, мы убедились в том, что они критическим образом зависят от порядка величины Развитый выше подход с позиций наименьших квадратов приводит к оценивателям, зависящим от . К счастью, в данной модели у нас есть возможность получения оценки на базе наблюденных данных. Эта оценка может быть, в свою очередь использована для получения аппроксимации оценивателя наименьших квадратов для . В байесовском подходе будет показано, что величина близка к моде условной апостериорной ФПВ для , если мы применяем расплывчатую априорную ФПВ и принимаем допущение, что

Переходя к байесовскому анализу модели (5.99) — (5.100), мы в дополнение к другим допущениям о свойствах ошибок принимаем, что они нормально распределены. Тогда функция правдоподобия имеет вид

где . В качестве априорной ФПВ мы используем

где остаются пока неспецифицированными. В (5.120) мы делаем допущение, что , компоненты независимо распределены, причем априорные ФПВ для компонент и соответчтвуют

равномерным распределениям. Тогда апостериорная ФПВ для параметров задается выражением

Выделяя полный квадрат относительно в экспоненте, мы получаем

где уже были определены выше в связи с (5.106). Таким образом, при заданных условная апостериорная ФПВ для соответствует нормальному распределению, причем

и

где . Выражение (5.123) имеет точно такой же вид, как выражение (5.107) для условно минимизирующего значения в подходе с использованием принципа наименьших квадратов с позиций теории выборочных исследований.

Интегрируя (5.122) по компонентам мы получаем

Затем, интегрируя (5.125) по , получаем

Рис. 5.5. Линии уровней совместной апостериорной ФПВ для Значение моды в точке равно 8,55

Это и есть совместная апостериорная ФПВ для и Сомножитель в скобках в числителе тождествен величине в скобках в выражении (5.109). Таким образом, при заданном оцениватель как это показано в (5.111), минимизирует величину в скобках в выражении (5.126). Без априорных сомножителей при заданном мода апостериорной ФПВ (5.126) приблизительно равна

Если априорные ФПВ заданы в явном виде, можно воспользоваться методами двумерного численного интегрирования

для вычисления нормирующей постоянной в (5.126) и построения совместной и маргинальной ФПВ.

Для иллюстрации результатов, полученных с использованием (5.126), наряду с расплывчатой априорной ФПВ для и , мы искусственно генерировали данные на базе следующей модели:

где

Ошибки были получены путем случайного выбора из нормально распределенной совокупности с нулевым математическим ожиданием и дисперсией, равной 225; иными словами, Значения были получены путем случайного выбора из нормально распределенной генеральной совокупности с математическим ожиданием и дисперсией, равными соответственно 5 и 9.

На рис. 5.5. представлены линии уровней совместной апостериорной ФПВ для и Если дисперсии ошибок достаточно велики, совместная апостериорная ФПВ имеет достаточно вытянутую форму. Мода находится в точке Маргинальные апостериорные ФПВ для представлены на рис. 5.6.

Рис. 5.6. Маргинальные апостериорные ФПВ для

Маргинальная апостериорная ФПВ для имеет математическое ожидание, равное 0,694, и апостериорное среднее квадратичное отклонение, равное 0,279, т. е. рассеяние в данном случае достаточно велико. С другой стороны, апостериорная ФПВ для достаточно оатршершинна, с мотекгагическим олйдавием, равным 0,898 и сведшим квадратичным

отклонением, равным 0,0847. Кроме того, маргинальная апостериорная ФПВ для симметрична.

В заключение настоящей главы нужно отметить, что рассматривались только случайные ошибки измерения. На практике чаще всего случается, что присутствуют как случайные, так и систематические ошибки измерения. Общие методы рассмотрения ошибок обоих родов представляли бы большую ценность, но, к сожалению, их разработка еще предстоит