5.4. БАЙЕСОВСКИЙ АНАЛИЗ ФУНКЦИОНАЛЬНОЙ ФОРМЫ МОП

В байесовском анализе функциональной формы МОП информация, требующаяся для обеспечения идентифицируемости параметров системы (5.30) — (5.31), вводится с помощью априорной ФПВ для параметров. Как читатель увидит ниже, нет необходимости в принятии допущения, - например, о том, что значение известно точно, — для того чтобы получать выводы об интересующих исследователя параметрах. Кроме того, нужно себе уяснить, что, поскольку априорная информация требуется для обеспечения идентифицируемости параметров, она будет оказывать сильное влияние на апостериорные выводы вне зависимости от возрастания, объема выборки.

В целях построения байесовского аналога результатов (5.66), полученных с помощью МНП, мы воспользуемся следующей априорной ФПВ:

где

В (5.67) мы принимаем, таким образом, априорное допущение, что равномерно и независимо распределены. ФПВ (5.67) представляет нашу субъективную уверенность в априорной информации о неизвестных параметрах, в то время как (5.62) обычно никак не интерпретируется сторонниками теории выборочных исследований.

Объединяя априорную ФПВ (5.67) с функцией правдоподобия (5.32), мы получаем следующую апостериорную ФПВ:

где

Выделяя полный квадрат относительно в экспоненте и проинтегрировав по компонентам мы получаем

Переходя к переменным , и заметим, что и, таким образом,

Затем, интегрируя по получаем

где . Из выражения (5.71) следует, что имеет апостериорную двумерную -ФПВ Стьюдента с математическим ожиданием , в точности соответствующим оценивателю 1МНК, полученному в результате регрессии по Так же как и в случае анализа МНП, который дал (5.66), настоящий результат критическим образом зависит от допущения о виде априорной ФПВ для в (5.67). Кроме того, заметим, что апостериорная ФПВ для в (5.71) является несобственной и в точности соответствует виду, следующему из априорных допущений о и в (5.67). Таким образом, в случае априорных допущений (5.67) выборка не дает никакой новой информации относительно

Хотя допущения, воплощенные в (5.67), позволяют нам делать апостериорные выводы о , которые являются подходящими для некоторых ситуаций, они являются таковыми далеко не для всех ситуаций. Поскольку часто бывает затруднительно выбрать допущения относительно компонент мы попытаемся развить методы условного анализа, т. е. анализа МОП при условии

Величина в правой части (5.72) точно соответствует выражению (5.46), «уравнению МНП» для . Совместная ФПВ для при заданных параметрах имеет вид

где суммирование производится от до . Если мы используем (5.72) для того, чтобы перейти к условной ФПВ в (5.73), то получим в результате

Прежде чем перейти к введению априорных ФПВ для параметров (5.74), было бы весьма полезным исследовать свойства (5.74).

1. Если дано, что заданному значению, то (5.74) имеет единственную моду в точке, соответствующей оценкам МНП для

Это вытекает из того, что есть условная МНП для

2. Для конечного с возрастанием второй член в экспоненте доминирует в функции правдоподобия. При этих условиях модальные значения для и будут близки к значениям, полученным из регрессии по Допущение, что велико, предполагает, что дисперсия ошибок измерения мала относительно дисперсии в уравнении

Для конечного по мере того как первый член в экспоненте (5.74) все более доминирует в функции правдоподобия. Заметим, что этот первый член содержит сумму квадратов Таким образом, когда очень мало, приближенные оценки МНП могут быть получены путем регрессии У и по Оценки МНП для Р будут близки к обратной величине оценки 1МНК углового коэффициента, в то время как оценка свободного члена, взятая с обратным знаком и умноженная на оценку , даст приближенную оценку МНП для в условиях очень малого

Если то первый член в экспоненте равен нулю, а второй может быть использован для выводов о

Хотя форма (5.74) представляет интерес для исследования, ибо она показывает, что две суммы квадратов, связанные с регрессиями по по появляются в функции правдоподобия, условной при может иметь и более простое выражение, а именно

Это и есть вид функции правдоподобия при заданном в котором мы теперь объединим ее с ФПВ для параметров. Важно снова подчеркнуть, что (5.75) имеет единственную моду при оценках МНП для при заданном расположение которой зависит от наших допущений в отношении

Что же касается априорной ФПВ для неизвестных параметров из (5.75), а именно то мы сначала сделаем следующее допущение:

где есть априорная ФПВ для вид которой остается пока неспецифицированным. В (5.76) мы принимаем допущение, что априори независимо распределены. Области существования параметров представляются как Относительно важно уяснить себе, что область его существования конечна, как на это указывает приведенное выше обсуждение выражения (5.61). Поэтому мы примем, допущение, что исследователь знает знак и приписывает этому параметру априорно конечную область существования, руководствуясь анализом, который привел нас ранее к (5.61). В пределах этой области существования, скажем от до априорная ФПВ для Р есть ФПВ для мы сделаем расплывчатой, приняв допущение равномерного распределения

Объединяя априорные допущения, воплощенные в (5.76) с условной функцией правдоподобия (5.75), мы получаем в результате следующую апостериорную ФПВ:

Выражение (5.77) можно проинтегрировать аналитически по и по получив маргинальную стериорную ФПВ для и

где причем являются априорными ограничениями, наложенными на .

Знаменатель (5.78) обладает минимумом при т. е. оценке 1МНК, полученной из регрессии по и поэтому, если бы не влияние сомножителей, содержащих и находящихся в числителе, (5.78) имело бы моду при только когда Сомножитель делает модальное значение большим по его модулю, чем Величина, на которую абсолютно возрастает модальное значение , будет зависеть от допущения, принятого относительно Если априорная ФПВ для дает преимущество большим значениям, то модальное значение будет ближе к если отвлечься от информации о , содержащейся в

Для практического использования (5.78) нужно приписать априорные ФПВ. Что касается априорной ФПВ для , то мы можем принять, что это — бета-ФПВ:

где а и b — априорные параметры, значения которых выбираются исследователем, а обозначает бета-функцию, аргументами которой являются а и b. Представленная в (5.79) ФПВ является достаточно богатой и включает в себя априорную информацию о том, что Если, например, превращается в равномерную ФПВ для . Что же касается , то априорная ФПВ может быть выбрана в форме обратной гамма-ФПВ:

где являются априорными параметрами.

Хотя (5.79) и (5.80) не единственные виды ФПВ, которые могут быть использованы в настоящей задаче: они, видимо, достаточно разнообразны для того, чтобы быть в состоянии представить наличную априорную информацию в широком диапазоне. Подставляя (5.79) и (5.80) в (5.78), мы получаем двумерную апостериорную ФПВ, которая может быть проанализирована с помощью методов двумерного численного интегрирования. Маргинальные апостериорные ФПВ для Р и могут быть построены, а статистики, характеризующие их, — вычислены. Кроме того, можно вычислить совместные апостериорные доверительные области для и

В целях иллюстрации приложения описанных выше методов были искусственно генерированы данные с помощью модели Данные были генерированы в следующих условиях. Значения были выбраны случайно и независимо из нормально распределенной совокупности с нулевым математическим ожиданием и дисперсиями, равными соответственно 4 и 1; иными словами, были выбраны случайно и независимо из нормально распределенной совокупности с математическим ожиданием и дисперсией пар наблюдений представлены в табл. 5.1 и на рис. 5.1.

На базе данных табл. 5.1 были сначала построены условные апостериорные ФПВ для с помощью выражения (5.78) при заданных графики этих ФПВ представлены на рис. 5.2. Как видно из положения и размаха кривых, апостериорные ФПВ не слишком чувствительны к допущениям относительно . В настоящем примере,

Таблица 5.1. Генерированные наблюдения

Рис. 5.1. График генерированных данных

когда принимается по допущению равным 0,25, т. е. значению, употребленному при генерировании данных, условная апостериорная ФПВ для Р имеет моду при т. е. вблизи значения, использованного при генерировании данных и равного 1,0. Если по допущению принималось равным 1,0, то мода условной апостериорной ФПВ для была расположена в точке Эти результаты контрастируют с результатами, полученными из анализа модели, в которой делалось допущение т. е. об отсутствии ошибок измерения . В этом случае при условии расплывчатой априорной ФПВ для

центр апостериорной ФПВ расположен в точке которая соответствует оценке

Хотя условная ФПВ для при заданном представляет интерес, исследователь часто сталкивается с ситуацией, в которой отсутствие достаточно точной априорной информации не позволяет принимать конкретное значение. Можно, однако, выбрать априорную ФПВ для представления информации о которой располагает исследователь: например, для этой цели может служить обратная гамма-ФПВ, представленная выражением (5.80).

Рис. 5.2. Условные апостериорные ФПВ для при заданных

В качестве иллюстрации припишем следующие значения параметрам При этих значениях параметров мода априорной ФПВ есть математическое ожидание равно 0,246, дисперсия равна 0,0230 (среднее квадратическое отклонение равно

Подставляя эту априорную ФПВ вместо в (5.78), на основе данных табл. 5.1 мы построили совместную апостериорную ФПВ для Р и причем для Р была принята равномерная априорная ФПВ. Кроме того, для и были построены маргинальные априорные ФПВ. Результаты представлены на рис. 5.3. Из графиков видно, что маргинальные апостериорные ФПВ для и являются унимодальными. Что касается ФПВ для , то, как оказалось, информация конкретной

выборки уменьшила ее моду с 0,236 в априорной ФПВ до 0,18 в апостериорной ФПВ. Апостериорная ФПВ для имела модальное значение при 1,03, т. е. при значении, близком к использованному при генерировании данных.

Изложенное осуществлялось при условии которое с очевидностью требует допущения о характере распределения

Рис. 5.3. Маргинальные апостериорные ФПВ для построенные на основе генерированных данных с использованием априорной обратной гамма-ФПВ для

С другой стороны, при определенных условиях мы можем считать более подходящим допущение, что компонент 1 априори распределены нормально и независимо с общим математическим ожиданием и дисперсией, т. е.

где обозначают общее математическое ожидание и дисперсию соответственно. Если мы, кроме того, сделаем допущение, что неизвестны и что они распределены априорно с ФПВ при , то маргинальная априорная

ФПВ для будет иметь вид

где Ниже мы объединим эту априорную ФПВ, а также априорные ФПВ для других параметров с функцией правдоподобия. Функция правдоподобия имеет вид

где строка в (5.83) получается из первой путем выделения полного квадрата по . Заметим, что 1 есть условная оценка МНП для 1, которая была использована в условном байесовском подходе, приведшем к апостериорной ФПВ (5.77).

В качестве априорной ФПВ для параметров мы используем

где задается выражением (5.82), а еще не специфицирована и будет обсуждаться ниже. Формально апостериорная ФПВ имеет вид

где функция правдоподобия имеет вид, представленный выражением (5.83).

Интегрируя (5.85) по компонентам , мы получаем

где

Что касается априорной ФПВ в (5.86), то мы сначала проанализируем случай, когда по допущению предполагаются распределенными независимо. Если наша информация о представляется неясной, то априорная ФПВ может быть выбрана в виде

где пока что остаются неспецифицированными априорными ФПВ для и соответственно.

Подставляя (5.87) в (5.86) и интегрируя по получаем в результате следующую апостериорную ФПВ:

где которая была определена в связи с (5.86). Интегрируя (5.88) почленно по получаем в результате

где

и

Непосредственно путем алгебраических преобразований в этом случае можно получить

Таким образом, (5.89) можно выразить в виде

При заданных формах априорных ФПВ с помощью методов двумерного численного интегрирования можно получить нормирующую константу в (5.90), маргинальные апостериорные ФПВ для Р и а также числовые характеристики совместных и маргинальных апостериорных ФПВ; например, мы могли бы задать априорную бета-ФПВ для и обратную гамма-ФПВ или -ФПВ для Поскольку анализ (5.90) осуществляется численными методами, выбор априорных ФПВ для и достаточно многообразен.

Двумерная апостериорная ФПВ для и была нами проанализирована с использованием искусственно генерированных данных, представленных в табл. 5.1. Априорная ФПВ для , g (Р), была принята равномерной на большом отрезке, в то время как в качестве априорной ФПВ для была выбрана ФПВ обратного гамма-распределения (см. (5.80)), причем параметрам были приписаны априорные значения т. е. значения, примененные нами при построении кривых, представленных на рис. 5.3. На рис. 5.4 представлена маргинальная апостериорная ФПВ для Центр ФПВ близок к 1,0. Кроме того, заметим, что размах распределения здесь больше, чем в случае апостериорной ФПВ для при заданном которая представлена на рис. 5.3. Интегрирование по компонентам 1 в данном случае, видимо, повлияло на увеличение размаха апостериорной ФПВ.

В качестве альтернативы априорным допущениям (5.87), в которых постулируется, что априори распределены независимо, в некоторых ситуациях более подходящим может оказаться допущение,

что априори независимо распределены например, мы можем сделать допущение, что наша априорная информация об этих двух независимых параметрах может быть представлена в виде обратных гамма-ФПВ:

где суть априорные параметры.

Рис. 5.4. Маргинальная апостериорная ФПВ для , построенная на основе выражения (5.86) и искусственного генерирования данных. Подробности об использованной априорной информации см. в тексте

Переходя к переменным мы получаем

в качестве совместной априорной ФПВ.

Как следует из (5.92), условная априорная ФПВ для при заданном является обратной гамма-ФПВ. Маргинальная ФПВ для является Ф-ФПВ Фишера — Снедекора

степенями свободы. Затем, если вместо (5.87) мы используем

где имеет вид, представленный остается еще неспецифицированной, подставляем (5.93) в (5.86) и интегрируем по и по в основном таким же образом, как и выше. Полученная в результате апостериорная ФПВ для и имеет вид

где

где определены в связи с (5.88) и (5.89). Таким образом, мы можем записать совместную апостериорную ФПВ для и в следующем виде:

где

Как уже указывалось выше, при заданном величина имеет максимум в точке, совпадающей с оценкой МНП. Таким образом, при заданном значение условной моды для будет близко к оценке МНП. Если, однако, мы проинтегрируем (5.95) по , то при определении положения маргинальной апостериорной ФПВ для роль будут играть как априорная информация о так и выборочная.