§ 3.2. Критерий Байеса

Критерий Байеса — правило, в соответствии с которым стратегия решений выбирается таким образом, чтобы обеспечить минимум среднего риска. Применение критерия Байеса целесообразно в случае, когда система распознавания многократно осуществляет распознавание неизвестных объектов или явлений в условиях неизменного признакового пространства, стабильном описании классов и неизменной платежной матрице.

Рис. 3.2

Минимум риска, усредненного по множеству решений задачи распознавания неизвестных объектов, обеспечивается тогда, когда решения о принадлежности объектов классу или принимаются в соответствии со следующим правилом: если измеренное значение признака у данного объекта расположено в области то объект относится к классу если в области то объект относится к классу

Стратегию, основанную на этом правиле, называют байесовской стратегией, а минимальный средний риск байесовским риском.

Использование другой стратегии, отличной от байесовской, сопряжено с увеличением величины среднего риска. Действительно, пусть, например, используется некоторая стратегия А, в соответствии с которой решение о принадлежности объекта классу принимается тогда, когда измеренное значение признака и классу когда (рис. 3.2).

Разность среднего риска при подобной стратегии и байесовского риска В в предположении, что

В области

Значит,

При выборе стратегии В, в соответствии с которой принимается решение о принадлежности объекта классу если и классу если разность средних рисков подобной и байесовской стратегии

В области

Значит,

Байесовская стратегия может быть описана также следующим образом. Пусть в результате опыта установлено, что значение признака у распознаваемого объекта со составляет величину Тогда условная вероятность принадлежности объекта классу (условная вероятность первой гипотезы в соответствии с теоремой гипотез или формулой Байеса)

а условная вероятность принадлежности объекта классу (условная вероятность второй гипотезы)

где -совместная плотность распределения вероятностей значений признака по классам.

Величины и -апостериорные вероятности принадлежности распознаваемого объекта классам соответственно.

Условный риск, связанный с решением

а условный риск, связанный с решением

Система распознавания, основанная на байесовской стратегии, должна решать задачу с минимальным условным риском. Это

значит, что предпочтение решению следует отдавать тогда, когда

Подставим в (3.37) значения определяемые (3.35) и (3.36) соответственно. Тогда неравенства

или

определят, в каких условиях необходимо принять решение о том, что

Таким образом, байесовский подход к решению задачи распознавания состоит в вычислении условных апостериорных вероятностей и принятия решения на основании сравнения их величин. Именно такой подход обеспечивает минимум среднего риска, минимум ошибочных решений.

Если число классов больше двух и равно то апостериорная вероятность отнесения объекта к классу

Когда объект характеризуется признаками и признаки распознаваемого объекта приняли значения вероятность того, что при осуществлении события объект относится к классу, равна

Рассмотрим другую форму записи байесовского критерия отнесения объекта к соответствующему классу.

Пусть имеются классы Априорные вероятности появления объектов этих классов соответственно Пусть известны также многомерные условные плотности распределения вероятностей значений признаков по классам Тогда вероятность ошибки первого и второго рода соответственно

Величина среднего риска

Так как интеграл от плотности вероятности по областям равен единице, то

откуда

Задача состоит в том, чтобы минимизировать величину среднего риска. Для этого необходимо так выбрать области чтобы интеграл в (3.46) принял наибольшее отрицательное значение. Это достигается тогда, когда подынтегральное выражение принимает наибольшее отрицательное значение и вне области не существует такой области, где подынтегральное выражение отрицательно:

Отсюда следует уже известное решающее правило. Распознаваемый объект со, признаки которого, как установлено в результате проведения экспериментов, равны относится к классу если

где пороговое значение коэффициента правдоподобия.