6. Байесовские и минимаксные процедуры

Мы вернемся теперь к обсуждению способов упорядочения решающих процедур и их функций риска. Одно из таких упорядочений получается в предположении, что в повторных экспериментах сам параметр является случайной величиной 0. Если предположить для простоты, что его распределение имеет плотность то полная средняя потеря от применения решающей процедуры равна

и, чем меньше тем лучше Оптимальной является процедура, минимизирующая Она называется байесовским решением данной проблемы, соответствующим априорной плотности Минимум называется байесовским риском для

К сожалению, чтобы использовать этот принцип, надо предположить не только то, что 0 — случайная величина, но и то, что распределение ее известно. Последняя предпосылка на практике обычно не оправдывается. Правая часть (12) может быть иначе истолкована как взвешенное среднее рисков. В частности, Для это есть площадь под графиком функции риска. При такой интерпретации выбор весовой функции показывает

степень значимости, которую экспериментатор приписывает различным значениям .

При отсутствии априорной информации относительно 0 имеет смысл рассматривать максимум функции риска как ее наиболее важную характеристику. Тогда из двух функций риска предпочтительнее та, которая имеет меньший максимум. Оптимальными процедурами являются те, которые минимизируют максимальный риск, т. е. обладают минимаксным свойством. Так как максимум указывает самые тяжелые (в среднем) потери, которые могут возникнуть при использовании данной процедуры, то минимаксное решение, по сравнению с другими, дает самую надежную защиту от больших потерь. Рис. 2 показывает, что иногда такой принцип может оказаться неблагоразумным: в большинстве случаев мы предпочли бы правило хотя его функция риска имеет больший максимум.

Рис. 2.

Вероятно, что наиболее типичен случай, промежуточный между двумя только что описанными. С одной стороны, мы могли встречаться в прошлом с таким же или сходным экспериментом и потому можем иметь некоторое представление об ожидаемых значениях 0. С другой стороны, эта информация не является ни достаточно точной, ни достаточно надежной, чтобы оправдать байесовский подход. В этой обстановке представляется желательным использовать доступную информацию, не опираясь на нее, однако, настолько, чтобы в случае ее неточности столкнуться с опасностью катастрофически высоких потерь. Для достижения этой цели можно задать верхнюю границу риска и рассматривать лишь такие процедуры для которых

(здесь константа С должна быть больше максимального риска минимаксной процедуры, так как в противном случае не найдется процедуры, удовлетворяющей (13)). Гарантировав, таким образом, что риск ни при каких обстоятельствах не выйдет из-под контроля, экспериментатор может без опасений использовать свои сведения о ситуации. Последние могут быть следствием как теоретических соображений, так и прошлого опыта. Экспериментатор может следовать своим влечениям и угадывать распределение параметра Это приводит к выбору процедуры (ограниченного байесовского решения), которая минимизирует риск

(12) для этого априорного распределения (при условии (13)). Чем более мы уверены в выборе тем большим можно выбрать С. При этом, управляя большими значениями риска в случае неудачного предположения о , мы уменьшаем риск при хорошей догадке.

Вместо непосредственного задания упорядочения, мы можем постулировать требования, которым оно должно удовлетворять.

Были исследованы различные системы таких условий. Это привело к общему заключению, что этим требованиям удовлетворяют лишь упорядочения, основанные на значении байесовского риска по отношению к некоторому априорному распределению .