7.11 ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

В данной главе достаточно подробно представлен ряд математических методов, предназначенных для упорядочения, выбора и выделения признаков. Дан вывод выражений, связывающих расстояние между множествами с дисперсиями, и проиллюстрирована их роль в изучении преобразования кластеризации и упорядочения признаков, осуществляемых посредством минимизации внутримножественного расстояния и приведения ковариационной матрицы к диагональному виду. Измерения, соответствующие малым дисперсиям, более надежны и могут рассматриваться в качестве более важных признаков. Воспользовавшись преобразованием кластеризации, мы показали, что аппроксимация обучающих выборок, представляющих рассматриваемые классы, плотностями нормального распределения эквивалентна измерению среднеквадратичных расстояний для класса после осуществления преобразования кластеризации над пространством измерений. Затем принцип преобразования кластеризации распространяется на задачу понижения размерности пространства измерений и задачу порождения оптимального множества признаков. Эти векторы признаков используются

в ортогональных преобразованиях, осуществляемых с целыо понижения размерности векторов образов.

Понятие энтропии используется в качестве альтернативного способа определения преобразования, обеспечивающего уменьшение размерности векторов образов. Вывод этого преобразования основывается на допущении о нормальности распределения всех классов и равенстве их ковариационных матриц. В тех случаях, когда это допущение неприемлемо, предлагается дискретный вариант обобщенного разложения Карунена — Лоэва в качестве другого подхода к отбору признаков. Разложение Карунена — Лоэва выведено в предположении о нулевых или идентичных математических ожиданиях всех классов. Как показано в § 7.6, эти условия играют важную роль в приложениях разложения Карунена — Лоэва.

Если признаки, характеризующие класс, можно задать некоторой функцией, определяемой но результатам наблюдений, применимы методы аппроксимации функциями из § 7.7. В этом параграфе представлены три основных метода. При работе с детерминистскими данными годится метод разложения по системе функций. В статистическом случае появляются методы стохастической и ядерной аппроксимации.

В качестве удобной меры «расстояния» для пар распределений произвольного вида и меры сложности разделения двух совокупностей предложена концепция дивергенции. В случае двух нормальных распределений с равными ковариациямн дивергенция равна расстоянию Махаланобиса между этими распределениями. Понятие дивергенции используется при упорядочении признаков и определении количества измерений, приводящих к требуемой вероятности ошибки. Описан критерий выбора признаков по расстоянию между множествами, основанный на максимизации величины дивергенции. Эта процедура ограничена случаем разделения на два класса, хотя подобный подход, основанный на введении «средней» дивергенции, использовался для случая разделения на несколько классов.

И наконец, рассмотрена задача выбора двоичных признаков. Хотя общее решение этой задачи не получено, алгоритмы из § 7.10 отражают, вероятно, наиболее серьезные попытки, предпринимаемые в этой области.

Библиография

Дополнительный материал к § 7.2 можно найти в книге Себестиана [1962] и работах Купера [1964] и Бабу [1973]. Дополнительными источниками материала § 7.3 и 7.4 служат следующие работы Себестпап [1962], Ту (1968б, 1969а, 1970], Фу [1971], Бодевиг [1956], Ковалевский [1970] и Ватаиабе [1970]. Подход к выбору признаков по минимуму энтропии, рассмотренный в § 7.5, предложен Ту и Хейдорном [1967]. Некоторые результаты,

касающиеся приложения этого метода к случаю диопчных обрачов, можно найти в статье Гоисалеса и Ту [1968].

Впервые разложение Карунена — Лоэва, описанное и § 7,6, было рассмотрено в статье Карунена [1947]. Впоследствии Ватанабе применил эту концепцию в распознавании образов [1969]. Обобщенное разложение Карунена — Лоэва предложено Цзяием и Фу [1967]. Источники материала § 7.7 следующие: Логинов [1966], Райе [1964] и Ту [1969а]. Дополнительной литературой к § 7.8 и 7.9 служат книги Кульбака [1967], Резы [1961] работа Ту и Хендорпа [1967]. Алгоритмы выбора двоичных признаков, представленные в § 7.10, описаны Блоком, Нильсоном и Дудой [1964].

Задачи

(см. скан)