5.6. АЛЬТЕРНАТИВНЫЕ ДОПУЩЕНИЯ О ВЕТВЯЩИХСЯ ПАРАМЕТРАХ
В этом параграфе мы будем анализировать МОП в условиях допущения, что ветвящиеся параметры, т. е. компоненты 1, могут быть представлены линейной комбинацией независимых наблюдаемых переменных; иначе говоря,
, где
являются наблюдаемыми значениями, a k величин суть неизвестные параметры. Важность этого допущения заключается в том, что в его условиях число параметров модели уже не зависит от объема выборки
; иными словами, вместо
неизвестных
мы теперь имеем дело с k неизвестными
, и, таким образом, осложнения, связанные с проблемой ветвящихся параметров, часть которых обсуждалась выше, обходятся. В этом случае наша модель имеет вид:
или
где
являются
-мерными вектор-столбцами наблюдений; X — матрицей наблюдений за k независимыми переменными, размерности а
к и ранга
вектор-столбцом параметров;
—скалярным параметром
а их и
вектор-столбцами ошибок. Мы сделаем допущение, что
причем в последнем равенстве в правой части стоит матрица размерности
, все элементы которой являются нулями. Таким образом, мы предполагаем, что ошибки имеют нулевые математические ожидания, гомоскедастичны и не коррелированы. В дальнейшем мы потребуем для ошибок еще и допущения нормальности.
Прежде чем обратиться к байесовскому анализу модели
будет полезным рассмотреть подходы с позиций теории выборочных исследований, которые находят довольно широкое применение, в особенности так называемый подход с помощью «инструментальных переменных»
. При этом подходе обычно предполагается, что, если бы значения вектора
в (5.100) были известны, выражение
представляло бы простую регрессионную модель, анализ которой не вызывает затруднений. Поскольку на практике значения компонент
известны крайне редко, с. помощью (5.99) получают оцениватель
а затем строят регрессию
по
получая, следующий, оцениватель для
:
где
а объяснение нижнему индексу оценивателя
будет дано в ходе последующего изложения. Этот оцениватель, часто называемый оценивателем «двушагового метода наименьших квадратов» (2МНК), очевидно, представляет собой условное выражение, полученное при условии, что
Если мы введем определение
и сделаем подстановку в (5.99) — (5.100), то система примет вид:
Значения компонент вектор
неизвестны, однакб можно использовать (5.103) для получения вектора оценок, а именно
где
. Затем полученную оценку можно подставить в (5.102). Тогда оцениватель
получается путем регрессии
по
и перехода к величине, обратной оценивателю углового
коэффициента, т. е.
где
Сделаем несколько замечаний относительно оценивателей
1. Как
так и
являются состоятельными оценивателями
2. В малых выборках распределения
различаются
, например, в условиях допущения нормальности для вектора ошибок оцениватель
может иметь конечное математическое ожидание, в то время как, вообще говоря, математическое ожидание и более высокие элементы
не существуют.
3. Если существует математическое ожидание
), то, как указывается в литературе,
имеет смещение в сторону нуля, т. е.
Эвристически это смещение возникает вследствие того, что замена
на
(5.100) вводит ошибку измерения в независимую переменную в условиях конечного объема выборки.
4. Оцениватель
в (5.99) — (5.100) использует только
наблюдений за
Поскольку
тоже содержит выборочную информацию, относящуюся к
в этом случае при помощи оценивателя я; оценивание
осуществляется на базе лишь части имеющейся у исследователя выборочной информации.
5. Тот факт, что и
являются разными оценивателями, означает, что числовые результаты на практике будут различными в зависимости от того, какой оцениватель применяется.
В качестве альтернативы подхода, ведущего к оценивателям вида
для
, рассмотрим следующий подход с помощью метода наименьших квадратов. Сумма квадратов
, которую нам надлежит минимизировать по
и
, имеет вид
где
. Если мы выделим полный квадрат относительно
в (5.105), то получим
где
Из (5.106) и положительной определенности матрицы М следует, что условное минимизирующее значение для
дается формулой
где
Поскольку для оценивания
служит
мы можем записать (5.107) в виде
Таким образом,
является взвешенной средней двух оценивателей для
а именно
. При заданном
, или
, т. е. к значению, употребленному выше для построения оценивателя
в то время как если
т. е. мы пользуемся только информацией, содержащейся в
для получения оценки
участвующей в построении оценивателя
рассмотренного выше. В общем же случае
в (5.108) использует информацию как
так и
наблюдений, и, таким образом,
является более точным оценивателем для
чем оцениватель, базирующийся только на
наблюдениях.
Полагая в
мы получаем
где
при
. Дифференцируя (5.109) по
и приравнивая производную нулю, мы получаем
в качестве необходимого условия для
, минимизирующего
. Следует заметить, что (5.110) имеет точно ту же форму, как и необходимое условие, возникающее в классической МОП, за исключением того, что выборочные моменты выражены в терминах «расчетных» значений
Решая квадратное уравнение (5.110) относительно
, переходим к
в качестве оценивателя для
при заданном
. Ввиду того что в данной задаче мы можем оценить
, а именно
оцениватель для
, может быть получен путем принятия
в (5.111). Кроме того,
можно подставить в (5.108) и получить оцениватель для
Из (5.109) очевидно, что при
минимизирующее значение для
равно
. С другой стороны, при
минимизирующее значение для
стремится к
равному
. Для любой заданной выборки нетрудно показать, что справедливо
Кроме
при
все три оценивателя сходятся к истинному значению
.
Система (5.99) — (5.100) может быть расширена путем включения свободного члена и других наблюдаемых независимых переменных:
где W есть матрица размерности
и ранга наблюдений за
независимыми переменными;
есть
-мерный вектор-столбец неизвестных параметров. Как и выше, мы рассматриваем задачу минимизации
по
, причем
Дифференцируя по
, мы получаем значение 0, соответствующее условному минимуму.
которое при подстановке в (5.116) дает
где
Ввиду того что (5.118) имеет точно такой же вид, как (5.105), получение минимизирующих знамений для
и
может быть осуществлено тем же самым путем. Получаемый в результате оцениватель
будет зависеть от
и, как и выше, мы можем получить оценку
опираясь на которую получаем расчетную оценку
. Полученные оценки
и
могут послужить для получения оценки
подстановка которой в (5.117) дает оценку в.
Рассматривая приведенные выше результаты, которые были получены с помощью теории выборочных исследований, мы убедились в том, что они критическим образом зависят от порядка величины
Развитый выше подход с позиций наименьших квадратов приводит к оценивателям, зависящим от
. К счастью, в данной модели у нас есть возможность получения оценки
на базе наблюденных данных. Эта оценка может быть, в свою очередь использована для получения аппроксимации оценивателя наименьших квадратов для
. В байесовском подходе будет показано, что величина
близка к моде условной апостериорной ФПВ для
, если мы применяем расплывчатую априорную ФПВ и принимаем допущение, что
Переходя к байесовскому анализу модели (5.99) — (5.100), мы в дополнение к другим допущениям о свойствах ошибок принимаем, что они нормально распределены. Тогда функция правдоподобия имеет вид
где
. В качестве априорной ФПВ мы используем
где
остаются пока неспецифицированными. В (5.120) мы делаем допущение, что
, компоненты
независимо распределены, причем априорные ФПВ для компонент и
соответчтвуют
равномерным распределениям. Тогда апостериорная ФПВ для параметров задается выражением
Выделяя полный квадрат относительно в экспоненте, мы получаем
где
уже были определены выше в связи с (5.106). Таким образом, при заданных
условная апостериорная ФПВ для
соответствует нормальному распределению, причем
и
где
. Выражение (5.123) имеет точно такой же вид, как выражение (5.107) для условно минимизирующего значения
в подходе с использованием принципа наименьших квадратов с позиций теории выборочных исследований.
Интегрируя (5.122) по компонентам
мы получаем
для вычисления нормирующей постоянной в (5.126) и построения совместной и маргинальной ФПВ.
Для иллюстрации результатов, полученных с использованием (5.126), наряду с расплывчатой априорной ФПВ для
и
, мы искусственно генерировали данные на базе следующей модели:
где
Ошибки
были получены путем случайного выбора из нормально распределенной совокупности с нулевым математическим ожиданием и дисперсией, равной 225; иными словами,
Значения
были получены путем случайного выбора из нормально распределенной генеральной совокупности с математическим ожиданием и дисперсией, равными соответственно 5 и 9.
На рис. 5.5. представлены линии уровней совместной апостериорной ФПВ для
и
Если дисперсии ошибок достаточно велики, совместная апостериорная ФПВ имеет достаточно вытянутую форму. Мода находится в точке
Маргинальные апостериорные ФПВ для
представлены на рис. 5.6.
Рис. 5.6. Маргинальные апостериорные ФПВ для
Маргинальная апостериорная ФПВ для
имеет математическое ожидание, равное 0,694, и апостериорное среднее квадратичное отклонение, равное 0,279, т. е. рассеяние в данном случае достаточно велико. С другой стороны, апостериорная ФПВ для
достаточно оатршершинна, с мотекгагическим олйдавием, равным 0,898 и сведшим квадратичным
отклонением, равным 0,0847. Кроме того, маргинальная апостериорная ФПВ для
симметрична.
В заключение настоящей главы нужно отметить, что рассматривались только случайные ошибки измерения. На практике чаще всего случается, что присутствуют как случайные, так и систематические ошибки измерения. Общие методы рассмотрения ошибок обоих родов представляли бы большую ценность, но, к сожалению, их разработка еще предстоит