6b. Байесовы правила оценивания

6b.1. Основания байесова подхода.

Байесов подход отличается от метода максимальйого правдоподобия в двух отношениях. Во-первых, в байесовом подходе различие между оценкой и оцениваемой величиной находит численное выражение в значении функции потерь. Правило оценивания выбирается так, чтобы минимизировать математическое ожидание функции потерь. Ясно, что различные функции потерь приводят к различным правилам оценивания. И еще, при каждом выборе функции потерь у нас имеется ясное представление о последствиях использования получающегося при этом правила оценивания. Эти последствия отражены в значении функции потерь. Часто данное байесово правило оценивания, выведенное на основе функции потерь, подходящей к данным обстоятельствам, оказывается лучшим, чем соответствующее правило оценивания условного максимального правдоподобия. Наиболее употребительной функцией потерь является квадратичная функция ошибки.

Во-вторых, важная идея байесова подхода заключается в том, что при оценивании может и должна использоваться любая априорная информация о параметрах характеризующих данный процесс у. Такая информация игнорируется в методе максимального правдоподобия. Априорные знания учитываются посредством рассмотрения величин как случайных с известным распределением вероятностей так называемым априорным распределением вероятностей. Как «правило, предполагается, что это распределение имеет плотность априорную плотность вероятности. Численное значение отражает нашу относительную степень уверенности в том, что параметры данного процесса у имеют значения Эта плотность называется априорной потому, что такое суждение о значениях параметров высказывается заранее, до использования наблюдений процесса у. Некоторые соображения о выборе априорных распределений и связанные с ним вопросы можно найти в работах Кашьяпа (1971) и Фаина (1973).

Произвол в выборе априорного распределения — один из недостатков байесова подхода. Кроме того, байесовы правила оценивания довольно трудно отыскивать, особенно если в уравнения системы входят члены скользящего среднего. Допустим, что имеется наблюдение Можно определить правила оценивания основанные на как некоторые отображения, по аналогии с Будем искать правило оценивания 0, оптимальное относительно квадратичной функции потерь Соответствующая функция риска равна

Следует отметить, что символ обозначает операцию математического ожидания при фиксированном 0. Усредним теперь по используя априорную плотность вероятности для того, чтобы получить байесов риск

Поскольку есть функция от правила оценивания , мы можем выбрать это правило так, чтобы минимизировать функцию «байесова риска. Такое правило оценивания называется байесовым.

Теорема 6b.1. Байесова оценка , минимизирующая имеет вид

Доказательство. Пусть — какое-либо правило оценивания. Покажем, что

Переменная есть функция только от наблюдения Используем обычное правило

для того, чтобы упростить (6b.1.2). В (6b.1.3) внутреннее математическое ожидание вычисляется при фиксированном 5, следовательно, оно является функцией только от В. Внешняя операция математического ожидания берется по случайной величине В. Рассмотрим третий член в Имеем

по определению Подставляя это значение в и упрощая, получим

Плотность вероятности называется апостериорной плотностью вероятности случайной величины 0 при заданной и она заключает в себе всю информацию, содержащуюся в относительно 0. Эта плотность играет решающую роль в байесовой теории оценивания. Одной из главных трудностей при применении байесовой теории является отыскание явных выражений для апостериорной плотности Такие выражения для апостериорных плотностей могут быть получены только в случае определенного вида априорных плотностей, например нормальных плотностей вероятности. В других случаях приходится находить численным путем, что может быть затруднительно. Аналогичным образом можно получить байесово правило оценивания параметра Байесов подход использовался при обработке временных рядов многими исследователями (Зель-нер, 1971; Бокс и Тяо, 1973).