1.5. Три и более полностью определенных класса

1.5.1. Общая постановка задачи.

Пусть имеется k генеральных совокупностей (классов) с плотностями распределения вероятностей , где — гипотеза, состоящая в том, что наблюдение X извлечено из совокупности; — априорные вероятности гипотез; с — цена ошибочной классификации наблюдения из совокупности как наблюдения из совокупности.

Задача в том, чтобы разбить пространство наблюдений R на k попарно непересекающихся областей таких, что если , то принимается гипотеза и при этом минимизировать потери. Вероятность принять гипотезу когда X извлечено из совокупности, составит

и функция потерь

Если значение вектора X фиксировано, то — апостериорная вероятность — равна

а ожидаемые потери при решении, что X извлечен из совокупности, составят

Очевидно, что потери будут минимальными, если

Поэтому определим как множество точек, для которых верно (1.64). Если минимум для некоторого X достигается при нескольких значениях , то относим X к любому из соответствующих . Сформулированное правило при

очевидно сводится к отнесению X к тому для которого наибольшее. Это правило классификации называют байесовским.

В случае, когда распределения генеральных совокупностей непрерывны с точностью до значений X, попадание в которые имеет нулевую вероятность, для байесовского классификатора могут быть также определены как

т. e. построение байесовского классификатора в случае k классов сводится к последовательному построению байесовских классификаторов для двух классов, т. е. к методам, которые уже рассмотрены в предшествующих параграфах.