§ 5. Байесов алгоритм восстановления плотности

Определим структуру алгоритмов, обеспечивающих решение байесовой задачи восстановления плотности, т. е. минимизирующих функционал

Пусть по выборке восстанавливается плотность, принадлежащая классу и пусть дана априорная плотность вероятностей

Найдем с помощью формулы Байеса

плотность распределения апостериорных вероятностей характеризующую возможность реализации значений параметров а после того, как к априорной информации добавлена информация о выборке Здесь — условная, а -безусловная плотность вероятностей появления выборки

Ниже мы покажем, что решением байесовой задачи является апостериорное среднее, т. е. функция

Вообще говоря, полученная в результате усреднения функций по мере плотность вовсе не обязана принадлежать рассматриваемому параметрическому семейству Поэтому, строго говоря, метод построения апостериорного среднего (3.18) нельзя называть восстановлением функции в классе

Итак, найдем функцию которая минимизирует функционал

Обозначим

Изменим порядок интегрирования в (3.19), после чего окажется

Преобразуем теперь функцию

Обозначим

где

и перепишем равенство (3.21) в виде

Подставим выражение в (3.20). В результате получим функционал, который может быть представлен в виде двух слагаемых:

где

Первое слагаемое не зависит от Поэтому минимизация эквивалентна минимизации второго слагаемого

Минимум этого слагаемого равен нулю и достигается тогда, когда

В следующих параграфах для некоторых априорных законов будут найдены байесовы приближения

плотностей. Построение байесова приближения для фиксированного априорного закона зависит от того, удается ли провести аналитическое интегрирование выражения (3.18).