Глава 5. ОШИБКИ В ПЕРЕМЕННЫХ

Точка зрения, согласно которой экономические данные часто содержат ошибки и присутствие ошибок измерения может серьезно повлиять на результаты анализа, пользуется всеобщим признанием. В свете этого значительные усилия, направленные на развитие методов анализа данных, содержащих ошибки измерения, не должны вызвать удивления. В настоящей главе мы рассмотрим несколько моделей и задач, связанных с ошибками измерения. После анализа нескольких предварительных задач, которые иллюстрируют проблемы, связанные с некоторыми базисными моделями «ошибок в переменных» (МОП), мы рассмотрим классическую МОП. Эта модель может считаться обобщением простой регрессионной модели, исследованной в 3-й главе, учитывающей ошибки как в зависимых, так и в независимых переменных. Две формы МОП, а именно функциональная и структурная, будут исследованы методами наибольшего правдоподобия и байесовским методом. Такое сравнительное изложение в данном случае особенно поучительно, поскольку (читатель в этом в дальнейшем убедится) априорная информация играет важнейшую роль как в подходе с позиций теории выборочных исследований, так и в байесовском подходе.

После анализа классической МОП мы рассмотрим форму этой модели, которая включает специальные допущения о систематической части наблюдаемых переменных, а именно что они могут быть представлены с помощью систематической части уравнений регрессии. Мы покажем, что такой анализ тесно связан с методом оценивания с помощью «инструментальных переменных» параметров МОП. Хотя анализ настоящей главы покрывает только часть проблем, связанных с МОП, это подмножество проблем имеет важное значение для эконометрической практики.

5.1. КЛАССИЧЕСКАЯ МОП: ПРЕДВАРИТЕЛЬНЫЕ ЗАДАЧИ

Прежде чем обратиться к классической МОП, весьма полезно рассмотреть тесно связанную с ней задачу об средних . Пусть независимые наблюдения, выбранные из нормально распределенных генеральных совокупностей, которые имеют одну и ту же дисперсию но различные математические ожидания; иными словами, делается допущение, что есть случайная выборка из нормально распределенной генеральной совокупности с математическим

ожиданием и дисперсией Следует обратить внимание на то, что мы располагаем наблюдениями, а должны оценить неизвестных параметров: выборочных средних Этот простой подсчет наблюдений и параметров уже показывает, что получить оценки всех параметров затруднительно. Мы исследуем природу этого затруднения, которое встречается также для функциональной формы классической МОП, хотя и в несколько более сложном виде.

Функция правдоподобия для задачи об выборочных средних имеет вид

где есть вектор неизвестных выборочных средних, а вектор наблюдений. Дифференцируя логарифм функции правдоподобия по и h и приравнивая частные производные нулю в целях получения оценок метода наибольшего правдоподобия (МНП), мы получаем

и

Таким образом, из (5.2 а), по-видимому, следует, что являются оценками МНП 1 г. Но подстановка этих «оценок МНП» в (5.26) дает, что оценка дисперсии Кендалл и Стьюарт замечают, что это — очевидно абсурдный результат г.

Основным эффектом вышеизложенного «анализа наибольшего правдоподобия» является то, что функция правдоподобия (5.1) не имеет конечного максимума в области допустимых изменений параметров п. В этом легко убедиться путем подстановки (5.2 а) в (5.1), получив т. е. функцию, которая явно не имеет максимума при Альтернативно, если подставить (5.26) в (5.1), мы получим т. е. опять-таки функцию, не имеющую конечного максимума в допустимой области изменений параметров. Таким образом, хотя (5.2 а) есть оценка МНП для при данной конечной дисперсии , а (5.26) - оценка МНП для при данном векторе , (5.2 а) и (5.26) не могут совместно дать оценок МНП для . Далее нетрудно показать, что функция правдоподобия (5.1) не стремится к

пределу при , вследствие чего 0 и у не являются оценками МНП

Интересно приложить к задаче об выборочных средних байесовские методы анализа. Для этой цели мы используем следующие априорные ФПВ:

Объединяя (5.3) и (5.1), получаем следующую апостериорную ФПВ:

Из (5.4) мы заметим, что условная апостериорная ФПВ для при заданном о есть собственная многомерная нормальная ФПВ с вектором математических ожиданий у и ковариационной матрицей . При заданном условная апостериорная ФПВ для а есть собственная обратная гамма-ФПВ. Таким образом, как и в МНП, можно легко получить условные выводы. Однако совместные выводы о не могут быть получены, поскольку (5.4) есть несобственная ФПВ; например, если (5.4) интегрировать по компонентам то в результате получим т. е. несобственную ФПВ в точности того же вида, как и наша расплывчатая априорная ФПВ (5.3). Таким образом, выборочная информация в этой задаче не сообщает нам никаких дополнительных сведений о . С другой стороны, интегрируя (5.4) по а, мы получаем которая тоже является несобственной ФПВ. Очевидно, что выборочной информации не хватает для получения совместных выводов о и компонентах . В то же время при наличии априорной информации об одном или нескольких параметрах, например при заданном можно легко получить выводы о компонентах . Такая априорная информация, скажем , где известно, позволяет нам делать выводы о компонентах .

Крайне важно уяснить себе, что менее точная информация о , т. е. менее точная, чем , также позволяет нам делать выводы о компонентах , например, если мы используем следующую априорную ФПВ:

где априорные параметры, , то апостериорная ФПВ будет иметь вид

т. е. будет собственной ФПВ. Маргинальная апостериорная ФПВ для будет иметь вид

т. e. будет многомерной -ФПВ Стьюдента с вектором математических ожиданий у. Таким образом, даже не принимая допущения о том, что , т. е. известному значению, мы оказались в состоянии включить в модель менее ограничительную априорную информацию, которая позволяет нам делать выводы относительно компонент Однако, интегрируя (5.6) по компонентам мы получаем в результате априорную ФПВ для а. Итак, выборочная информация в этом случае не дает дополнительных сведений о а в нашей задаче.

Перейдем теперь к следующей задаче об выборочных средних, в которой мы располагаем по наблюдений для каждой средней, т. е. наша модель наблюдений имеет вид

где есть -мерный вектор-столбец, все компоненты которого равны единице; есть неизвестная выборочная средняя, вектор-столбец возмущений. Мы принимаем следующие допущения: для т. е. является нулевой матрицей при Кроме того, мы предполагаем, что все компоненты вектора имеют нормальное совместное распределение. Для упрощения нотации мы можем записать

или

где у обозначает вектор левых сторон уравнения (5.9 а); W — блочнодиагональная матрица правых сторон (5.9 а);

Заметим, что в данной постановке задачи мы имеем наблюдений и неизвестных параметров, так что при пит больше 1 мы располагаем большим числом наблюдений, чем число неизвестных параметров, в противоположность ситуации, когда как это было в проанализированном выше случае. Тем не менее, как мы покажем ниже, сохраняется фундаментальное осложнение для применения МНП.

Функция правдоподобия для системы (5.9) имеет вид

где . Поскольку матрица положительно определена, очевидно, что является оценкой МНП. Нетрудно увидеть, что есть выборочная средняя, т. е.

Далее, оценка МНП для есть

ее можно получить, дифференцируя логарифм функции правдоподобия по а и приравнивая производную нулю. Легко убедиться в том, что действительно являются значениями связанными с конечным максимумом функций правдоподобия. Однако, как указывают Нейман и Скотт [92], а также Кендалл и Стьюарт, все же остается некоторая проблема. Дело в том, что оцениватель МНП для имеет смещение, которое не обращается в нуль при и фиксированном , т. е.

Таким образом, при и фиксированном смещение оценивателя МНП не обращается в нуль. Если, например, при любом . Эвристически Кендалл и Стьюарт интерпретируют эту ситуацию как сохранение смещения малой выборки для оценивателя МНП. Заметим, что число неизвестных параметров возрастает с возрастанием п. Действительно, отношение числа параметров к числу наблюдений стремится к , т. е. к 1/2 при . Таким образом, нельзя избавиться от ситуации малой выборки при возрастании в данной задаче.

В качестве частного пути обхода этого дефекта МНП в этой задаче о «ветвящихся параметрах» Кендалл и Стьюарт предлагают ввести поправку на «число степеней свободы» для оценивателя в (5.11). Мы располагаем наблюдениями, а число которые мы должны

оценить, равняется . Поэтому для оценивания остается степеней свободы. Если мы введем определение

то при любом . Ниже мы покажем, что аналогичная проблема «ветвящихся параметров» присутствует и в классической МОП.

Для байесовского анализа модели (5.9) мы используем априорные допущения, заданные (5.3).

Тогда апостериорная ФПВ будет иметь вид

Маргинальная апостериорная ФПВ для есть

или представляет собой собственную многомерную -ФПВ Стьюдента с вектором математических ожиданий и ковариационной матрицей . Надо отметить, что при фиксированном эта ковариационная матрица не стремится к нулевой; иными словами, при и фиксированном маргинальная апостериорная ФПВ для не концентрируется вокруг . Этот байесовский результат аналогичен результату теории выборочных исследований, который заключается в том, что оцениватель МНП компонент имеет дисперсию, не стремящуюся к нулю, когда при фиксированном .

Мы можем получить маргинальную ФПВ для а путем интегрирования (5.14) по компонентам Эта операция дает

где

Заметим, что интегрирование по компонентам вектора 1 автоматически ведет к тому, что показатель а в знаменателе (5.14) уменьшается с до . Это аналогично поправке на число степеней свободы, обсуждавшееся выше в связи с (5.11). Кроме того, из (5.16) мы получаем в качестве апостериорного математического ожидания . Если рассматривать эту величину в качестве оценивателя, то очевидно, что это — состоятельный оцениватель в отличие от (5.11).

Далее мы рассмотрим задачу об выборочных средних при наблюдениях для каждой неизвестной средней, причем одно наблюдение

имеет дисперсию а другое — дисперсию так что наши -мерные вектор-столбцы наблюдений по допущению генерируются следующей моделью:

, т. е. является нулевой матрицей размерности . Мы примем также допущение, что компоненты их и нормально распределены. В условиях этих допущений функция правдоподобия задается следующим образом:

Попытаемся теперь найти оценки МНП. Дифференцируя по и приравнивая производные нулю, мы получаем

и

в качестве значений максимизирующих функцию правдоподобия и зависящих от неизвестного вектора I. Дифференцируя по компонентам , мы получаем

где , в качестве значений максимизирующих функцию правдоподобия и зависящих от К. Очевидно, что есть взвешенная средняя весами в которой являются величины, обратные соответствующим дисперсиям.

Если вектор известен, то могутбыть вычислены оценки (5.19). С другой стороны, если известно К, то с помощью (5.20) могут быть вычислены . Подставляя i вместо в (5.19), получаем для оцениватель Нетрудно, однако, показать что . Иными словами, имеет смещение, которое

не обращается в нуль при Далее, если мы запишем функцию правдоподобия (5.18) в виде

то оцениватель МНП для при заданном Н, выразится как

где компоненты 1 задаются выражением (5.20). Можно непосредственно показать, что математическое ожидание оценивателя (5.22) есть . Снова получается, что смещение оценивателя МНП не обращается в нуль при Это затруднение возникает вследствие игнорирования того факта, что оцениванию подлежат компонент вектора 1; в качестве частного обходного приема можно, конечно, ввести поправку на число степеней свободы для устранения только что обсужденного смещения. Аналогичная проблема возникает в МОП, как это и будет показано ниже.

Возвращаясь к (5.18), мы можем задаться вопросом, возможно ли получение оценивателей МНП для всех параметров модели, т. е. для компонент вектора и двух дисперсий, , если дано наблюдений Интуитивно чувствуется, что это невозможно, ибо каждой неизвестной выборочной средней противостоят только два наблюдения, каждое со своей неизвестной дисперсией. Подставляя (5.20) в (5.19), мы получаем

а для того чтобы оба этих условия выполнялись, нужно, чтобы

но это возможно только при . Таким образом, в общем случае необходимое условие максимума не может быть удовлетворено; функция правдоподобия не существует при , если обе величины неизвестны Ч

Описанное выше затруднение возникает потому, что не идентифицированы. Легче всего это увидеть из рассмотрения распределения . Вектор w имеет нулевое математическое ожидание и ковариационную матрицу где . Существует бесконечное множество значений , которые в сумме дают некоторое конкретное значение невозможно идентифицировать без дополнительной априорной информации,

так как ФПВ для w полностью определяется спецификацией величины

При подходе к данной задаче с байесовских позиций мы принимаем следующую расплывчатую априорную ФПВ:

В этом случае нетрудно показать, что объединение этой априорной ФПВ с функцией правдоподобия (5.18) дает следующую апостериорную ФПВ:

которая является несобственной. Однако условная апостериорная ФПВ для при заданных равно как и условные апостериорные ФПВ для при заданных , будет собственной например, при заданных апостериорная ФПВ для есть следующая собственная нормальная ФПВ:

где есть апостериорное условное математическое ожидание. Элементы ковариационной матрицы соответствующего условного апостериорного распределения не стремятся к нулю с возрастанием .

Для иллюстрации существа проблемы идентифицируемости, связанной с (5.24), мы выделим полный квадрат по g и проинтегрируем по компонентам этого вектора. Операция дает следующий результат:

Множитель появляется из нашей расплывчатой априорной ФПВ, в то время как второй множитель просто соответствует нормальной ФПВ для . Вид этой последней ФПВ показывает, что идентифицировать и невозможно без дополнения информации, представленной нашей априорной расплывчатой ФПВ, новой априорной информацией. Далее, переходя от переменных к переменным и интегрируя по получаем маргинальную

апостериорную ФПВ для X, которая имеет вид просто т. е. является несобственной

Итак, когда как так и неизвестны, возникают затруднения в получении выводов относительно параметров, как в МНП, так и в байесовском подходе. Если, однако, отношение неизвестных дисперсий задано, например то вышеуказанное затруднение исчезает. Действительно, если , то задача сводится к проанализированной ранее, в которой мы располагали двумя наблюдениями на одну неизвестную выборочную среднюю и равными дисперсиями для всех наблюдений. Знание значения X есть априорная информация, позволяющая решить проблему идентифицируемости.