1.4. Методы статистической классификации

В § 1.2 предполагалось, что измерения признаков дают детерминированные величины Однако во многих случаях измеренные признаки образов одного класса могут претерпевать большие изменения, и кроме того, нельзя пренебрегать помехами возникающими при изменениях. При этих условиях можно рассматривать как случайные величины где результат измерения признака в условиях помехк а с ом

Будем считать, что для каждого класса образов известны многомерная -мерная) функция

плотности вероятности (или распределения) вектора признаков и вероятность появления На основе этой априорной информации функция классификатора заключается в выполнении классификации путем минимизации вероятности ошибочного распознавания. Задача классификации образов теперь может быть сформулирована в виде задачи статистических решений (испытание m статистических гипотез) с помощью определения решающей функции где означает, что принимается гипотеза

Предположим, что принятие классификатором решения когда в действительности входной образ принадлежит приводит к потере Величина условных потерь (называемая также условным риском) для равна

Для данного множества априорных вероятностей средние потери (или средний риск) будут

Подставляя (1.28) в (1.29) и полагая

получим для (1.29)

Величина определяется как апостериорный условный средний риск решения при данных замерах признаков Задача заключается в выборе такого решения которое минимизирует средний риск или минимизирует максимум условного риска (критерий минимакса). Заметим, что в некоторых задачах классификации информация об априорных

вероятностях отсутствует. В этом случае можно построить процедуру классификации [19—21] на основе минимаксного критерия по отношению к наименее благоприятному априорному распределению.

Оптимальное решающее правило минимизации среднего риска называется байесовым правилом. Из (1.31) следует, что достаточно рассмотреть каждый X в отдельности и минимизировать Если является оптимальным решением в смысле минимума среднего риска, то

т. е.

Для функции потерь (0,1), т.е. при

средний риск по существу является также вероятностью ложного распознавания. В этом случае байесово решающее правило дает

если

Определим отношение правдоподобия между классами и следующим образом:

Тогда (1.35) примет вид

Классификатор, осуществляющий байесово решающее правило, называют байесовым классификатором. Упрощенная блок-схема байесова классификатора представлена на рис. 1.8. Из (1.35) следует, что соответствующая разделяющая функция, осуществленная в байесовом классификаторе, может быть представлена следующим

образом:

или эквивалентным выражением

Решающей границей между областями в относящимися к Юг и является

или

Рис. 1.8. Байесов классификатор.

В качестве примера положим, что есть функция многомерного гауссова распределения со средним вектором и ковариационной матрицей , т. е.

Тогда решающей границей, согласно (1.41), будет

Уравнение (1.35) в общем случае гиперквадратное. Если то (1.43) приводится к следующему

что является уравнением гиперплоскости. Следует отметить, что, согласно (1.35), байесово решающее правило при функции потерь является также решающим. правилом безусловного максимума правдоподобия. Более того, решение по (условному) максимуму правдоподобия можно рассматривать как байесово решающее правило (1.35) при равных априорных вероятностях, т.е. при