11.1. БАЙЕСОВСКИЕ ОЦЕНКИ

Основные аспекты байесовского подхода обсуждались в разд. 5.1. Было показано, что существенным моментом этой процедуры оценивания является определение апостериорной плотности условного распределения вероятностей параметров относительно наблюдений у. Для каждой конкретной последовательности наблюдений выходной переменной объекта в этой плотности заключена вся информация, представляющая интерес для экспериментатора. Из выражения для при возрастающем к можно определить такие характеристики оценки, как смещение, состоятельность, асимптотическая нормальность (см. фиг. 5.2). Определив молото на основе этой информации предоставить экспериментатору возможность решать, какую оценку он считает наилучшей оценкой параметра Ряд попыток определения зависимости плотности условного распределения вероятностей от времени описан в литературе. Возможными подходами являются решение дифференциальных уравнений в частных производных типа Фоккера — Планка [3, 10, 25] и разложения выходного сигнала объекта по собственным функциям [24].

Возражения против подобной процедуры первоначального определения и предоставления затем возможности экспериментатору решать, какую оценку считать наилучшей, могут основываться на следующих соображениях. В ситуации, когда является -вектором (при задача представления в виде, удобном для принятия решений, оказывается совсем не простой. Далее, понятие наилучшей оценки должно определяться тем или иным способом, опирающимся на выбор функции штрафа или потерь. Этот выбор остается более или менее произвольным; только в редких случаях он диктуется уже самой постановкой задачи. В литературе рассматриваются, в частности, следующие функции штрафа, связанные с плотностями условного распределения:

1) Квадратичная функция , приводящая к условному математическому ожиданию ;

(кликните для просмотра скана)

например, в одномерном случае из условия

приравнивая нулю производную по получаем

т. е. среднее значение плотности условного распреде ления.

2) Абсолютная величина отклонения соответствующей оценкой является медиана

3) Наиболее вероятное значение т. е. мода условного распределения.

Фиг. 11.1 иллюстрирует эти понятия для разных типов плотностей распределения. На фиг. 11.2 приведены некоторые типы функций штрафа. Для симметричных унимодальных распределений среднее значение, медиана и мода совпадают. Дальнейшее обсуждение вопроса выбора функций штрафа можно найти в работе [14].

В разд. 5.1 было показано, как зависит байесовская оценка от плотности условного распределения вероятностей выходной переменной априорной плотности вероятности параметра и функции штрафа (потерь) через подлежащий минимизации средний риск

При заданном наблюдении у задача сводится к определению

необходимым условием которого является равенство

Фиг. 11.2. (см. скан)

В случае скалярного параметра с получаем

Для пояснепия изложенных идей рассмотрим задачу оценивания одного параметра в простой задаче, иллюстрированной на фиг. 11.3:

Фиг. 11.3.

где плотности гауссовские, независимы. На основе этой информации легко вычислить плотность вероятности у, а именно гауссовская плотность, причем формула для ковариации следует из соотношения

Основной интерес для нас представляет плотность

поскольку при

Следовательно,

где нормировочная постоянная. Отправляясь от этой формулы, читатель может потратить довольно много времени на вычисление интеграла (11.4) с учетом всех составляющих экспоненты и нормировочной постоянной. Вычисление существенно облегчается, если вспомнить некоторые свойства гауссовской плотности

распределения

а именно

Поэтому при интегрировании по важно лишь выделить полный квадрат относительно

где

Следовательно,

т. е.

Рассмотрим два предельпых случая:

В первом случае априори нет никакой неопределенности относительно и производимые с ошибкой измерения, естественно, не могут уточнить эту информацию. Во втором случае при точных измерениях удается получить точную оценку. В общем случае и для построения оценки используется как априорная информация, так и данные измерений. Дисперсиями и определяются относительные веса, придаваемые каждой

Фиг. 11.4.

из этих составляющих информации. Отметим, что

откуда следует, что вес, придаваемый измерениям, возрастает с увеличением числа выборочных значений сигналов. Если то при оценка смещена, но является асимптотически несмещенной.

В качестве упражнения полезно рассмотреть ту же задачу в предположении, что шум не является белым и имеет ковариационную матрицу Кроме того, мы рекомендуем читателю вывести аналог формулы (11.10) для случая векторного параметра

Интересная попытка применения теории статистических решений к задаче оценивания параметров объекта для еще более общего случая предпринята Масловым [28]. Рассмотренная задача иллюстрируется фиг. 11.4; предполагается, что входные и выходные сигналы импульсные; вход и выход искажаются шумами соответственно; плотности распределения вероятностей известны, эти случайпые процессы стационарны и независимы; оператор объекта имеет вид известно, каким образом шумы добавляются к сигналам, причем в этих каналах отсутствует память и могут быть определены Необходимо найти наилучшую оценку

Лучшее, что можно сделать в статистическом смысле, — это определить для всех апостериорную плотность

Исходя из функции риска, нужно построить решающее правило

удовлетворяющее критерию минимума риска. Это правило может быть как детерминированным, так и стохастическим. Необходимость в стохастическом правиле появляется в случае игры с сознательно противодействующим противником. В задаче оценивания, когда «противником» является природа, следует пользоваться детерминированным правилом.

Маслов рассматривал случаи, когда для оценивания используется как так и у и когда используется только у. Ограничимся здесь рассмотрением только первого случая. При данных наблюдениях условный риск определяется как

Средний риск для разных экспериментов имеет вид

Используя правило Вайеса, независимость шумов и физическую реализуемость объекта, Маслов получил несколько более общее выражение для среднего риска. Он показал, что оптимальная оценка находится с помощью детерминированного решающего правила. Детали метода и некоторые примеры читатель найдет в цитированной статье.

Пока имеется сравнительно небольшое число работ, посвященных использованию байесовского подхода в задачах оценивания параметров [16, 23]. Возможно, это связано с вычислительными сложностями при оценивании условных математических ожиданий. В работе [29] предложено решение методом Монте-Карло.