2.19. Теорема Байеса

Мы суммировали информацию, содержащуюся в данных, в функции правдоподобия а априорную информацию — в априорной плотности Теперь объединим их в так называемую апостериорную плотность, пропорциональную их произведению:

причем

если этот интеграл существует.

Если рассматривать как плотность распределения вероятности, приписываемую перед проведением экспериментов, то будет плотностью, которую следует приписать после получения данных. Это следует из теоремы Байеса , которую можно сформулировать следующим образом.

Теорема Байеса. Пусть два события с вероятностями появления и соответственно. Пусть обозначает условную вероятность возникновения события А при условии, что В уже произошло, и пусть определяется аналогично.

Тогда

Доказательство. Доказательство следует немедленно из определения условной вероятности:

где вероятность возникновения одновременно.

Приравнивая правые части и разрешая относительно получаем непосредствен не.

В нашем случае мы определим А как событие, когда «истинное значение находится внутри гиперкуба объема с центром в точке как событие, заключающееся в том, что «истинное значение находится в пределах гиперкуба объема с центром в

По определению ПРВ априорного распределения и функции правдоподобия имеем:

Значение получается суммированием по всем возможным т. е.

Подстановка в (2.19-3) дает

Но есть вероятность появления события А при условии, что в результате эксперимента получены данные Тогда, по определению,

из которого немедленно следует

Заметим, что имеет смысл как ПРВ только тогда когда единственна. Приверженец частотной школы, который, в данном случае не принимает априорного распределения, не примет и апостериорного распределения.

Когда априорное распределение равномерно, апостериорная плотность пропорциональна функции правдоподобия. Если результаты двух серий опытов статистически независимы, то совместная функция правдоподобия является произведением двух отдельных функций. Тогда формально возможно рассматривать функцию правдоподобия для первой серии как априорную для второй, а апостериорная плотность для второй серии опытов равна (с точностью до постоянного коэффициента) совместной функции правдоподобия. Это основания для утверждения, сделанного для случая (в) в разделе 2.17.

Апостериорное распределение (равное функции правдоподобия в отсутствии априорной информации) в совокупности с любыми ограничениями, которые могут иметь смысл, заключает в себе все четыре элемента, необходимые для решения проблем оценивания параметров, а

именно: модель, данные, вероятностное распределение ошибок и априорную информацию о параметрах. Формулировка задачи оценивания параметров во многих случаях эквивалентна составлению функции апостериорного распределения.

2.20. Задачи

(см. скан)