19.1.2. МИНИМАКСНЫЕ И БАЙЕСОВСКИЕ РЕШАЮЩИЕ ПРАВИЛА

Можно подумать, что выбор оптимальной решающей функции должен быть очевиден, поскольку мы просто хотим выбрать такое чтобы ущерб был минимальным вне зависимости от того, каким окажется состояние природы.

Однако короткое размышление приводит к выводу, что такой выбор невозможен никогда, если только мы не знаем истинного состояния природы, а в этом случае мы по-настоящему и не можем говорить о проблеме принятия решений. Для иллюстрации предположим, что мы встретились с задачей оценки неизвестного вещественного параметра в [см. раздел 3.1] с функцией потерь вида

Допустим, что мы наблюдаем значение и что есть оценка параметров задаваемая решающей функцией

Если истинное значение параметра равно , то ущерб составит Если на самом деле то для минимизации потерь следует взять в то же время, если то следовало бы принять Но нам неизвестно значение Поэтому мы не можедо выбрать так, чтобы минимизировать потери, — здесь просто нет правильно поставленной математической задачи.

Один из возможных путей оценки качества решающей функции в показателях, которые можно вычислить, состоит в том, чтобы определить, насколько хороша выбранная стратегия «в среднем». Для этого полезно следующее определение.

Функцией риска от принятия решения при состоянии природы в называется функция с областью определения и областью значений определяемая равенствами

Риск имеет смысл меры ожидаемых потерь от использования решающей функции если природа находится в состоянии в (математическое ожидание вычисляется по отношению к распределению, задаваемому функцией Таким образом, обозначая оператор математического ожидания через [см. II, раздел 10.4.1], можно записать риск в другой форме:

Чтобы избежать скучного переписывания формул, вызванного необходимостью различать случаи дискретного и непрерывного распределения, мы будем либо использовать эту общую запись оператора математического ожидания, либо чаще просто ограничиваться интегральной формой, соответствующей непрерывным распределениям.

Оператор математического ожидания может быть применен к любой функции которой существует математическое ожидание относительно распределения случайной величины X, так что

Мы будем также использовать оператор дисперсии, задаваемый равенством

Для одномерного параметра в графики риска как функции от в дают возможность сравнить относительное качество решающих правил, оцениваемое при помощи этих функций риска.

Пример 19.1.1. Рассмотрим рис. 19.1.1. На нем изображены три функции риска для задачи оценивания параметра в по случайной выборке из нормального распределения с достаточно большим Функция потерь равна: , а решающие функции —

Функция задает среднее выборки, — выборочную медиану, а про можно сказать, что она «игнорирует данные и всегда оценивает нулем». Для вычисления функций риска заметим, что

Рис. 19.1.1. Функции риска, соответствующие решениям из примера

(так как величина X в данном случае имеет распределение и что

Результат для медианы вытекает из известного результата, который мы приведем без обоснования: при больших медиана имеет асимптотически нормальное распределение Сравнение графиков на рис. 19.1.1 показывает, что при наших предположениях (нормальное распределение, квадратичная функция потерь) никогда не нужно использовать медиану для оценивания , поскольку график функции риска для среднего при всех значениях расположен ниже графика для медианы. Однако среднее не всегда лучше, чем «слепая» оценка поскольку для достаточно близких к нулю значений «слепая» оценка приводит к меньшему риску. Сами по себе функции риска показывают только, что оценку никогда не нужно использовать (при всех в по меньшей мере одна из решающих функций оказывается лучше), и не дают основания для выбора между

Чтобы глубже понять трудности, возникающие при выборе решающих функций, рассмотрим пример.

Пример 19.1.2. Пусть — случайная выборка из нормальной генеральной совокупности с параметрами где т.е. из нормального распределения, среднее и дисперсия которого равны в. Попробуем оценить 0, используя функцию потерь Рассмотрим с иллюстративными целями две решающие функции:

и

Стандартное вычисление математического ожидания дает

[см. II, раздел 9.2.4], где обозначает определенный ранее оператор дисперсии, и

поскольку Поэтому [см. (2.5.22)]

Отсюда следует, что если и если . В точке функции равны. Примерные графики функций риска для изображены на рис. 19.1.2.

Рис. 19.1.2. Функция риска для решений

И снова мы стоим перед выбором. Если известно, что то ясно, что лучше использовать чем Если мы знаем, что то наоборот. Однако мы не знаем значение в и поэтому для обоснованного выбора вынуждены искать дополнительные критерии.

Вообще говоря, конкретная задача принятия решений приводит к огромному числу возможных решающих функций (множество очень велико), и поэтому нельзя, как в предыдущих примерах, свести дело к графическому сравнению небольшого числа решающих функций. Вместо этого нужно искать общий подход, позволяющий выбрать «оптимальное» правило во всем классе

В этом разделе мы рассмотрим только два таких подхода — так называемые минимаксный и байесовский. Для обоснования дальнейших определений рассмотрим сначала рис. 19.1.3, на котором изображены графики двух (гипотетических) функций риска, соответствующих решающим правилам для некоторой (не важно какой) задачи принятия решений с одномерным параметрическим пространством 8.

Для большинства значений в решающая функция приводит к меньшему риску, чем но для некоторых в значение риска при

Рис. 19.1.3. Два гипотетических решающих правила

намного больше, чем при Что же делать в такой ситуации?

Возможны следующие два подхода:

а) Оградить себя от наихудшего! Разумно проявить осторожность и выбрать поскольку это предохранит от наихудшего возможного исхода; такое решение минимизирует максимум потенциального риска.

б) Принимая во внимание дополнительную информацию, можно сформировать определенное мнение о том, каких значений в следует скорее всего ожидать. Если вы убеждены, что значения в окажутся в области, где решающая функция очень плоха, следует выбрать . И наоборот, если вы считаете маловероятным, что в попадает в эту область, разумно выбрать Во всяком случае при анализе следует учитывать ваше субъективное суждение относительно возможных значений параметра

Эти два альтернативных интуитивных подхода легко формализовать.

В случае а) мы выбираем такое решающее правило чтобы

[см. I, раздел 2.6.3]. Другими словами, мы выбираем решающую функцию, для которой максимальное значение риска равно наименьшему возможному максимуму риска (по всему пространству решений Именно поэтому называется минимаксной решающей функцией.

В случае б) предположим, что суждение относительно параметра в может быть выражено в виде плотности распределения вероятностей

Рис. 19.1.4. Возможная форма предполагаемого распределения параметра

на параметрическом пространстве (дальнейшее обсуждение этого вопроса содержится в гл. 15, посвященной байесовскому подходу, и в разделе 19.5.2 этой главы). Например, эти суждения могут соответствовать графикам на рис. 19.1.4, на котором ось в изображена в том же масштабе, что и на рис. 19.1.3.

Интуитивно ясно, что если ваше суждение соответствует распределению то все основания считать решение опасным и предпочесть . И наоборот, тот, кто верит в распределение может предпочесть решающую функцию Мы формализуем этот подход следующим образом.

Функция риска выражает ожидаемые потери от использования решающей функции при условии, что — истинное состояние природы. Рассматривая ее как функцию в при фиксированном можно вычислить ожидаемое значение риска по отношению к предполагаемому распределению Определим байесовский риск соответствующий решающей функции равенством

или

Естественно выбрать решающую функцию, которая минимизирует средний ожидаемый ущерб Назовем байесовской решающей функцией, если

Заметим, что в каждой задаче принятия решения функция не единственна, поскольку она, в частности, зависит от выбора распределения Поэтому лучше говорить, что является байесовской решающей функцией по отношению к . В задачах оценивания называется байесовской процедурой оценивания, а значение — байесовской оценкой, соответствующей

Для иллюстрации минимаксного и байесовского подходов рассмотрим пример.

Пример 19.1.3. Для задачи, рассмотренной в примере 19.1.1,

так что оказывается минимаксным решающим правилом (из

Предположим теперь, мы уверены в том, что в заключено в интервале между — , а внутри этого интервала нет никаких оснований считать одну точку предпочтительнее другой. Эти предположения соответствуют равномерному распределению на интервале , так что в нем и

При байесовской решающей функцией будет при функции имеют одинаковый байесовский риск, а при и предпочтительнее (по отношению к этому частному выбору ).

Однако если наше априорное мнение будет другим, например, соответствующим равномерному распределению на интервале то значения байесовского риска изменятся:

так что окажется наименее предпочтительным решением с байесовской точки зрения.

Итак, мы определили два возможных подхода к выбору решающих правил: минимаксный и байесовский — и показали, что они обычно приводят к различным ответам (хотя при некоторых априорных распределениях оба подхода могут привести к одинаковому результату). Обсудим теперь более «нейтральное» условие, которое позволяет разделить решающие функции на «овец» и «коз».