16.6. ДИСКРИМИНАНТНЫЙ АНАЛИЗ
16.6.1. ВВЕДЕНИЕ
Цель дискриминантного анализа — получение правил для классификации многомерных наблюдений в одну из нескольких категорий или совокупностей. В медицине, например, это может помочь при диагностике или прогнозе заболеваний. В этом случае наблюдаются пациенты, и каждому из них приписывают несколько характеристик, определяющих его состояние. В работе [Titterington et al. (1981)] приведены примеры приложения дискриминантного анализа для прогноза пациентов с травмами головы. Существует и много других приложений дискриминантного анализа, описанных в литературе [см., например, Press (1972), библиография].
При дискриминантном анализе предполагается, что число совокупностей, или категорий, известно заранее. Задачей же кластер-анализа является идентификация кластеров,
или категорий, из данных.
16.6.2. ДИСКРИМИНАЦИЯ В ДВЕ ИЗВЕСТНЫЕ СОВОКУПНОСТИ
Рассмотрим задачу классификации одного многомерного наблюдения
в одну из двух совокупностей, для которых известны
-мерные плотности
(т. е. известны как форма плотности, так и ее параметры). Предположим, что
— априорные вероятности появления наблюдения
из совокупностей 1 и 2. Тогда по теореме Байеса апостериорная вероятность того, что наблюдение х принадлежит совокупности 1, есть [см. гл. 15]
а апостериорная вероятность для x принадлежать совокупности 2 есть
Классификация наблюдения может быть теперь осуществлена с помощью отношения, основанного на апостериорной вероятности для наблюдения принадлежать совокупности 1:
При такой процедуре можно было бы отнести объект к совокупности 1, если это отношение больше 1, т. е.
и к совокупности 2, если отношение меньше 1. В работе [Anderson (1958), с. 130—131] показано, что подобная процедура минимизирует вероятность ошибочной классификации.
Если ввести функцию штрафа (потерь) [см. гл. 19] и обозначить через
цены ошибочной классификации наблюдения из совокупности 1 в совокупность 2 и наоборот, то можно показать [см. Anderson (1958), с. 130—131], что математическое ожидание значения апостериорной функции потерь, обусловленное ошибочной классификацией, минимизируется, если использовать следующую модификацию правила (16.6.1): относить наблюдение к совокупности 1, если
и к совокупности 2 — в противном случае.
Для обеих ситуаций правило можно записать в форме отношения правдоподобия
если
то наблюдение следует отнести к классу 1, в противном случае — к классу 2. Константа к зависит от априорных вероятностей и цены ошибочной классификации. Когда априорные средние потери удовлетворяют равенству
константа