2.5. Оценка параметров. Методы построения оценок

Вторым важнейшим частным случаем статистических решений является оценка параметров.

Пусть искомое решение заключается в построении оценки  векторного параметра  по совокупности наблюдений , где каждая из компонент имеет неограниченную область значений. Этот случай охватывает многочисленные задачи прогноза, фильтрации, оценки характеристик МИ и т. д.

Оптимальное решающее правило (оптимальная оценка) и в этом случае определяется соотношением (2.13). Однако при некоторых естественных предположениях можно получить правила в более простых формах.

Предположим, что функция потерь не зависит от  и симметрична относительно ошибки оценки: . Например, при квадратичной функции потерь  получаем метод наименьших квадратов (МНК): в качестве оценки выбирается такое значение , при котором среднее значение квадрата ошибки оценки  минимально (если оценка несмещенная, то минимальна дисперсия ошибки). Если взять , то получим метод минимального среднего модуля ошибки и т. д. При разных функциях потерь, т. е. при разных понятиях оптимальности, могут получаться и разные оптимальные оценки. Например, при  оптимальной оценкой является (условное) математическое ожидание параметра , а при  его (условная) медиана. Это разнообразие оптимальных (каждая в своем смысле) оценок нежелательно.

Предположим дополнительно, что апостериорная ПРВ  хотя бы приблизительно симметрична относительно некоторой точки , зависящей от , и что

,

т. е. что функция потерь на бесконечности возрастает не слишком быстро. При этих условиях из (2.12) следует, что оптимальное решение u, т. е. оптимальная оценка неизвестного , определяется как

                                      (2.20)

независимо от конкретного вида функции потерь , функции правдоподобия  и априорного распределения .

Точка  обладает тем свойством, что в ней достигается максимум апостериорной ПРВ , что и дает универсальный способ нахождения оптимальных оценок – метод максимума апостериорной ПРВ (МАП): оптимальной оценкой  параметра  при наблюдении  является точка максимума апостериорной ПРВ  по :

.                                (2.21)

Как и в п.2.4, при высокой информативности наблюдений априорные сведения должны слабо влиять на вид оптимального решения. При этом предположении можно получить другое решающее правило. Для этого представим (2.21) в эквивалентном виде

.                           (2.22)

Если априорная информация (т. е. ПРВ ) мало влияет на решение, то определяющей должна быть ФП , поэтому, заменяя (2.22) на приближенное уравнение

,                                      (2.23)

получаем так называемый метод максимального правдоподобия (ММП): в качестве оценки  берется точка  максимума ФП .

Замечание. ММП – все же приближенный метод, в нем априорная информация полностью игнорируется, поэтому иногда получаемые с помощью этого метода оценки существенно хуже оценок МАП. Такой пример рассмотрен задаче 5 раздела 7.