2.2. БАЙЕСОВСКАЯ ТЕОРИЯ РЕШЕНИЙ — НЕПРЕРЫВНЫЙ СЛУЧАЙ

Дадим более строгую формулировку ранее рассмотренных соображений, сделав четыре следующих обобщения:

1) Допускается использование более одного признака.

2) Допускаются более двух состояний природы.

3) Допускаются действия, отличные от решения о состоянии природы.

4) Вводится понятие функции потерь, более общее, нежели вероятность ошибки.

Сами обобщения и связанные с ними усложнения формул не должны затенять того обстоятельства, что в основном речь идет о явлениях, по существу таких же, как в рассмотренном простом примере. Так, использование большего числа признаков приводит всего-навсего к замене скалярной величины х вектором признаков Рассмотрение более чем двух состояний природы позволяет провести полезные обобщения при незначительном усложнении выражений. Применение действий, отличных от классификации, прежде всего означает возможность отбрасывания, т. е. отказа от принятия решения в неопределенных ситуациях, что целесообразно, если непринятие решения не обходится слишком дорого. Применение функции потерь позволяет точно установить цену каждого действия. Теоретически это также дает возможность рассматривать ситуации, при которых некоторые виды ошибок имеют большую цену в сравнении с другими, хотя большинство изящных аналитических результатов достигается в предположении, что все ошибки равноценны. Отнеся сказанное к вступлению, перейдем к формальному изложению теории.

Пусть есть конечное множество из s состояний природы и есть конечное множество из а возможных действий. Пусть — потери, связанные с принятием действия когда состояние природы есть со. Пусть вектор признаков х есть -компонентная векторная случайная величина, и пусть является функцией условной по состоянию природы плотности распределения случайной величины х, т. е. функцией плотности х при условии, что состояние природы — Наконец, пусть априорная вероятность того, что состояние природы есть . Тогда апостериорная вероятность может быть вычислена из посредством байесовского правила:

где

Предположим, что мы наблюдаем определенное значение х и собираемся произвести действие . Если текущее состояние природы есть , то мы понесем потери Так как есть вероятность того, что действительное состояние природы — то ожидаемые потери, связанные с совершением действия равны

просто

Согласно терминологии теории решений, ожидаемые потери называются риском, — условным риском. Всякий раз при наблюдении конкретного значения х ожидаемые потери можно свести к минимуму выбором действия, минимизирующего условный риск. Покажем теперь, что это и есть оптимальная байесовская решающая процедура.

Выражаясь формально, задача состоит в том, чтобы по найти байесовское решающее правило, которое бы свело к минимуму общий риск. Решающее правило есть функция которая подсказывает, какое действие следует предпринять при любом из возможных результатов наблюдений. Более точно, для любого х решающая функция принимает одно из а значений . Общий риск R — это ожидаемые потери, связанные с данным правилом принятия решений. Так как есть условный риск, связанный с действием а это действие определяется решающим правилом, то общий риск выражается формулой

где символом мы обозначаем бесконечно малое приращение объема, а интеграл берется по всей области существования признака. Ясно, что если выбрано таким образом, что величина имеет наименьшее значение для каждого х, то и общий риск будет минимальным. Этим объясняется следующая формулировка байесовского решающего правила, для минимизации общего риска требуется вычислить условный риск согласно выражению

для и выбрать действие при котором минимален. (Заметим, что если минимум достигается более чем для одного действия, то не имеет значения, какое из этих действий принято; здесь пригодно любое правило, снимающее неопределенность.) Получающийся минимальный общий риск называется байесовским риском, соответствующим наилучшему возможному образу действия.