7.3. Байесовское оценивание

Общая методология байесовского оценивания описана в [14, п. 8.6.61. Она сводится к введению априорной плотности распределения параметров и последующему нахождению по формуле Байеса с учетом экспериментальных данных их апостериорной плотности распределения. Ключевым моментом в применении байесовского оценивания является первый шаг.

7.3.1. Введение априорной плотности распределения параметров.

Для априорных распределений возможны три интерпретации:

1) как частотных распределений;

2) как стандартных рекомендаций, что следует полагать о распределении неизвестных параметров в ситуации неопределенности;

3) как субъективной меры того, что полагает конкретный индивидуум.

Подробное обсуждение достоинств и недостатков этих подходов в общем случае может быть найдено в [70]. Здесь же мы ограничимся частной задачей — их использованием при оценке параметров регрессии.

Частотный подход. Предположим, что одна и та же регрессионная задача решается повторно на близком материале. Например, для разных районов страны изучается связь между производительностью труда и рядом параметров, характеризующих условия производства Или в медицине на материале различных медицинских центров по одним и тем же признакам строятся прогностические формулы для оценки риска осложнений какого-либо заболевания и т. п. Тогда в пространстве параметров, используемых в регрессионном уравнении, возникает эмпирическое распределение точек — оценок параметров, соответствующих отдельным решениям задачи (районам страны, медицинским центрам).

После сглаживания оно может использоваться в качестве априорного распределения параметров регрессии. Этот подход является бесспорным с теоретической и практической точек зрения, но, к сожалению, довольно редко применимым, так как каждый исследователь стремится привнести что-либо свое в обработку, в набор регрессоров, численные значения, приписываемые градациям качественных регрессоров. Простое повторение проведенных другими исследований мало популярно. Другое дело, если обработка данных, собранных в разных местах по единой программе, проводится централизованно. В этом случае использование байесовского подхода может существенно уменьшить разброс в оценках параметров для каждого из массивов данных за счет привлечения к оцениванию информации о распределении параметров в других массивах.

Введение априорного распределения в ситуации неопределенности. Стандартный подход здесь заключается в том, что элемент априорной вероятности распределения в модели (7.2) берется пропорциональным [60]

Иногда говорят, что плотность априорного распределения пропорциональна

Правая часть (7.53) не является плотностью в собственном смысле, так как интеграл от нее не определен, тем не менее при вычислении по формуле Байеса плотности апостериорного распределения параметров формальных трудностей при работе с (7.53) или не возникает, или они легко могут быть преодолены. Как мы увидим ниже в п. 7.3.2, выбор (7.53) удобен в аналитическом отношении и, казалось бы, хорошо отражает полное отсутствие априорных знаний о распределении параметров. Однако в нем на самом деле скрываются очень сильные предположения: отсутствие корреляции между параметрами (не путать с корреляцией между оценками значений параметров, которая зависит от распределения регрессоров и величины а), пренебрежимая малость априорной вероятности того, что вектор параметров лежит в любом наперед заданном конечном объеме, какова бы ни была его величина, и т. д. Это приводит порою к серьезным трудностям, с интерпретацией результатов байесовского оценивания [70].

Субъективный подход. В этом случае исследователь исходя из профессиональных соображений просто постулирует априорное распределение ().

Для дальнейших расчетов удобны две формулы для априорной плотности. В первой из них распределение не зависит от распределения а:

где матрица А и вектор выбираются исследователем. При этом априорная ковариационная матрица компонент предполагается невырожденной.

Во втором случае ковариационная матрица компонент пропорциональна и

Основная трудность субъективного подхода заключается в том, что информация, полученная изданных, рассматривается на равных основаниях с распределением, построенным исходя из не полностью формализованных соображений. Однако этот подход может быть полезен, когда выборка мала. Некоторые соображения в пользу (7.53) приведены в п. 7.3.3.