19.1.5. НЕКОТОРЫЕ ОСНОВНЫЕ ТЕОРЕМЫ

Приводимые далее результаты показывают, на каком пути пытаются искать общие связи между понятиями допустимого, байесовского и минимаксного решающих правил, и каковы эти связи.

Прежде чем сформулировать первую теорему, заметим, что может существовать два различных решающих правила и для которых при всех . Так бывает, например, когда для непрерывной случайной величины X правила различаются лишь в конечном числе точек. Поскольку функции риска выражаются интегралами, их значения совпадут. В этом случае мы будем говорить, что правила равны с точностью до эквивалентности (т. е. их нельзя различить по значениям Это понятие использует следующая теорема.

Теорема 19.1.1 Пусть произвольны, — выборочное пространство непрерывной случайной величины X и — заданное априорное распределение Если байесовская решающая функция единственна с точностью до эквивалентности, то она допустима.

Доказательство. (Мы считаем, что есть плотность; случай дискретного множества рассматривается точно так же.) Предположим, что функция недопустима. Тогда существует такое правило что

и

поэтому

Но неравенство не может быть строгим, потому что это противоречило бы предположению, что 8 — байесовское решающее правило. Оно не может быть и равенством, ибо это противоречило бы тому, что байесовское правило 8 единственно с точностью до эквивалентности.

Рис. 19.1.10. Пример, показывающий недопустимые байесовские правила

Таким образом, мы пришли к противоречию, и 8 должно быть допустимым.

Теорема 19.1.2. Если — байесовская решающая функция по отношению к распределению где то функция 8 допустима.

(Интерпретация. Если множество конечно, а байесовское решение соответствует невырожденному априорному распределению (нет то оно допустимо.)

Доказательство. Предположим, что байесовское решение недопустимо и покажем, что это предположение приводит к противоречию, и, стало быть, неверно. Если недопустимо, то существует такое

(Это и значит, что решение доминируется решением ) Но

Строгое неравенство вытекает из условий и из того, что при всех Но для байесовского решения должно быть так что мы пришли к противоречию.

Чтобы понять, что может измениться, если условие для всех нарушено, рассмотрим множество риска изображенное на рис. 19.1.10. Если (так что ), то все точки левой границы множества соответствуют байесовским решениям. Но только вершина юго-западного угла прямоугольника соответствует допустимому решению.

Рис. 19.1.11. Набросок доказательства, что допустимое правило — байесовское

Теорема 19.1.3. Если множество конечно, допустимое решение, то существует такое распределение для всех что решение является байесовским по отношению к

(Интерпретация. Для задач с конечным множеством состояний класс допустимых решений является подмножеством класса байесовских решений.)

Набросок доказательства Обозначим через х точку риска, соответствующую допустимому решению 6, а через — множество всех точек плоскости, расположенных к юго-западу (включая направления строго на юг и на запад) от точки х. И наконец, через обозначим множество из которого удалена точка х.

Так как — допустимое решение, то в множестве О нет точек, отличных от х и расположенных к юго-западу от х. Поэтому множества не пересекаются [см. I, раздел 1.2.1]; кроме того, оба они выпуклы [см. раздел 19.1.4].

Знаменитая теорема (теорема о разделяющей гиперплоскости) утверждает, что (когда существует прямая вроде изображенной на рис. 19.1.11. Для этой прямой и без потери общности можно считать (поделив при необходимости на сумму что Но эта прямая является касательной к множеству в точке , стало быть, 8 есть байесовское решение по отношению к

Эти три теоремы показывают существо связей между допустимыми и байесовскими решениями. Следующие две теоремы характеризуют аналогичные связи между допустимыми и минимаксными решениями. Более детальное рассмотрение можно найти в книге [Ferguson (1967)].

Теорема 19.1.4. Если в некоторой задаче принятия решения минимаксное решение единственно, то оно допустимо.

Доказательство. Предположим обратное. Тогда найдется решение для которого

Но отсюда следует, что

Строгое неравенство противоречит тому, что — минимаксное решение, а равенство — тому, что минимаксное решение единственно. Следовательно, наше исходное допущение о недопустимости ошибочно.

Теорема 19.1.5. Если решение допустимо и функция риска постоянна при всех то решение 8 является минимаксным. [Эта теорема описывает стратегию поиска минимаксных решений: сначала найти допустимое правило, а потом проверить, что для него функция риска постоянна.]

Доказательство. Предположим противное. Тогда существует такое решение что

Но если

что противоречит допустимости решения .

Основная классификационная теорема теории принятия решений утверждает, что, вообще говоря, чтобы быть допустимым, решение должно быть байесовским. (Конечно, при выполнении некоторых условий регулярности.) Это служит основанием для построения более простого метода поиска байесовских решающих правил, чем прямой поиск Следующая теорема раскрывает существо этого простого метода.

Теорема 19.1.6. (нестрогая формулировка). Байесовская решающая функция 8 по отношению к априорному распределению задается равенством в котором действие а ищется из условия минимизации интеграла

где

[.Интерпретация. Для любого выбирается действие о, которое минимизирует апостериорные ожидаемые потери Доказательство (нестрогое).

Предположим, что мы можем поменять порядок интегрирования (это и есть то место, где следует проявить наибольшую аккуратность при строгом доказательстве). Тогда

поскольку по определению условной плотности распределения вероятностей

Нахождение правила , минимизирующего выражение эквивалентно минимизации внутреннего интеграла в последнем равенстве при каждом Это и доказывает теорему.

Таким образом, поиск байесовских решающих функций может быть проведен в два этапа. На первом, используя теорему Байеса [см. гл. 15], находится а на втором минимизируются апостериорные ожидаемые потери.