§ 5.2. Оценивание случайных параметров
Когда оцениваемые параметры представляют собой случайные величины, делается попытка минимизировать математическое ожидание функции ошибки между случайными параметрами и их оценками.
5.2.1. Байесовская оценка.
Пусть 
— соответственно оцениваемый случайный параметр и его оценка, основанная на наблюдениях 
Тогда можно ввести функцию штрафа так, чтобы математическое ожидание штрафа или риск оценки выражался следующим образом:
где 
— функция штрафа, зависящая от случайного параметра 
и его оценки 
Выражение 
называют байесовским риском, а оценку, минимизирующую риск 
байесовской оценкой.
Хотя байесовская оценка является весьма общей и обладает свойством оптимальности в смысле минимума функции штрафа, получить эту оценку в явном 
как правило, нелегко. Поэтому такие оценки получены для некоторых функций штрафа.
5.2.2. Оценка, максимизирующая апостериорную вероятность.
Предположим, что функция штрафа с 
имеет следующий вид:
где параметр 6 и область 
выбраны достаточно малыми так, чтобы условную плотность 
можно было считать постоянной в данной области. Пусть 
— объем области 
Тогда
(5.45) примет вид
Заметим, что подынтегральное выражение (5.47) является неотрицательным. Поэтому риск 
можно минимизировать, если оценку 
выбрать равной значению параметра 
которое максимизирует апостериорную плотность вероятности 
Другими словами, эта оценка есть решение уравнения
Такую оценку называют оценкой, максимизирующей апостериорную вероятность.
Как было показано в предыдущих главах, удобнее иметь дело с априорной плотностью вероятности, а не с апостериорной плотностью. Поэтому с помощью теоремы Байеса можно (5.48) представить в виде
Если
или, иными словами, плотность вероятности 
является более «плоской» функцией, чем 
то можно пренебречь вторым членом в выражении (5.50), и оценка, максимизирующая апостериорную вероятность, становится оценкой максимального правдоподобия (5.19).
Пример 5.4. Для нормального распределения вычислим оценку, максимизирующую апостериорную вероятность вектора математического ожидания. Пусть 
— нормальное распределение с вектором математического ожидания 
и ковариационной матрицей 
. Тогда выражение (5.50) примет вид
при малом числе наблюдений 
оказывает влияние на апостериорную оценку М. Но по мере увеличения 
влияние математического ожидания 
на оценку М уменьшается, и оценка 
стремится к вектору выборочного среднего. Математическое ожидание оценки 
равно 
так как
