Глава 9. ВЫБОР ПРИЗНАКОВ И ЛИНЕЙНОЕ ПРЕОБРАЗОВАНИЕ ПРОСТРАНСТВА В СЛУЧАЕ МНОГИХ РАСПРЕДЕЛЕНИЙ
При наличии двух или большего числа классов цель выбора признаков состоит в выборе таких признаков, которые являются наиболее эффективными с точки зрения разделимости классов. Разделимость классов не зависит от системы координат, и этим критерии разделимости отличаются от критериев для одного распределения. Далее, разделимость классов зависит не только от распределений объектов в классах, по также от используемого классификатора. Например, оптимальный набор признаков для линейного классификатора может не быть оптимальным для других классификаторов при тех же распределениях. Для того чтобы избежать этого дополнительного усложнения, будем искать оптимальный набор признаков для байесовского классификатора; это позволит минимизировать ошибку классификации. Тогда разделимость классов будет эквивалентна вероятности ошибки байесовского классификатора, который является наилучшим среди возможных классификаторов.
Следовательно, с теоретической точки зрения вероятность ошибки является наилучшим критерием эффективности признаков. Кроме того, на практике одним из паиболее распространенных критериев является вероятность ошибки, полученная экспериментально; а именно, интуитивно выбрав набор признаков, строят байесовский классификатор и экспериментально подсчитывают число ошибок классификаций. Эта процедура является гибкой, не зависит от вида распределения и теоретически позволяет найти оптимальное решение. Кроме того, с точки зрения машинного времени она может успешно конкурировать с процедурами минимизации многих других критериев, которые задаются явными математическими выражениями, но оказываются сложными для минимизации.
Главный недостаток критерия вероятности ошибки заключается в том, что, за исключением очень небольшого числа частных
случаев, для пего не существует явного математического выражения, и поэтому здесь трудно надеяться на получение крупных теоретических результатов. В гл. 3 было показано, что даже для нормальных распределений вычисление вероятности ошибки требует численного интегрирования (за исключением случая равных ковариационных матриц).
В этой главе будет рассмотрено песколько критериев, задаваемых в явном виде. Вид критерия выбирается из каких-либо физических соображений. Одпако читатель должен помнить, что всякий раз, когда предлагается некоторый критерий, качество этого критерия следует рассматривать по отношению к вероятности ошибки. Если критерий непосредственно не связан с вероятностью ошибки, то рассматривается не сама эта вероятность, а ее верхняя и нижняя границы.
