Глава 8. ВЫБОР ПРИЗНАКОВ И ЛИНЕЙНОЕ ПРЕОБРАЗОВАНИЕ ПРОСТРАНСТВА ДЛЯ СЛУЧАЯ ОДНОГО РАСПРЕДЕЛЕНИЯ
До сих пор мы рассматривали методы построения классификатора для разделения объектов на два или большее число классов в предположении, что переменные, характеризующие эти объекты, уже выбраны и даны в условиях задачи. Очевидно, что выбор этих переменных является важным делом и сильно влияет на построение классификатора. Если значения переменных существенно изменяются при переходе от одного класса к другому, построить классификатор легче, и качество классификации будет выше. Поэтому выбор переменных — ключевая проблема в распознавании образов. Эту проблему называют задачей выбора (или выделения) признаков.
Выбор признаков обычно рассматривают как процесс преобразования исходных измерений в более эффективные признаки. Если это преобразонание является линейным, то функция, связывающая признаки с исходными переменными, хорошо определена, и задача сводится к нахождению коэффипиентов линейной функции, максимизирующих или минимизирующих некоторый критерий. Следовательно, если критерий эффективности признаков задан, то его экстремум можно найти с помощью хорошо разработанных методов линейной алгебры или, в случае сложного критерия, с использованием методов оптимизации. К сожалению, во многих прикладных задачах распознавания образов имеются важные признаки, являющиеся существенно нелинейными функциями исходных измерений. В таких случаях основная задача — пайти подходящее нелинейное преобразование для рассматриваемых данных. Поскольку мы не располагаем сколь-либо общей теорией, позволяющей систематически генерировать нелинейные преобразования и находить среди них оптимальное, процедуры выбора признаков в очень сильной степени зависят от конкретной задачи. Некоторые из этих задач будут рассмотрены в гл. 10.
В этой и следующей главе будут рассмотрены критерии для измерения эффективности признаков. Так как линейные преобразования строятся на основе этих критериев, мы рассмотрим также и эти преобразования. В этой главе мы будем иметь дело с признаками объектов, характеризующихся одним распределением. Здесь же будет рассмотрено оценивание собственных значений и собственных векторов, так как это является центральной задачей в случае одного распределения. В следующей главе мы обобщим эти результаты на случай двух или большего числа классом, а эффективность признаков будет оцениваться с точки зрения разделимости классов.
