7.4. РОЛЬ КЛАСТЕРИЗАЦИИ В ВЫБОРЕ ПРИЗНАКОВ

Выбор признаков, основанный на использовании понятия внутреннего расстояния множества, можно рассматривать как задачу кластеризации. Линейное преобразование применяется для группировки точек образов, принадлежащих одному классу, и понижения размерности пространства измерений. В настоящем параграфе при помощи преобразования кластеризации устанавливается набор оптимальных признаков. Эти векторы признаков используются затем для формирования ортогональной матрицы преобразования.

Рассмотрим класс образов, представленный многомерной совокупностью. Один из его нормированных членов, например выбирается в качестве точки отсчета для формирования последовательности расстояний до всех соседних нормированных векторов образов Предполагается, что выбор вектора образа не зависит от выбора остальных векторов образов . Итак,

Обозначив вероятности через через определяем внутреннее расстояние для многомерной совокупности в виде

это выражение можно переписать как

Упростим последнюю формулу

Воспользовавшись матрицей ковариации

выражение (7.4.4) можно записать как

Преобразования, реализуемые ортогональной матрицей А и диагональной матрицей приводят к ковариационной матрице для преобразованного пространства

В таком случае внутреннее расстояние множества в преобразованном пространстве определяется выражением

Пусть — собственные векторы ковариационной матрицы — соответствующие характеристические числа. Тогда

Элементы ортогональной матрицы преобразования А выбираются так, что в преобразованном пространстве ковариационная матрица становится диагональной. Этого можно достичь, используя транспонированных собственных векторов ковариационной матрицы в качестве строк ортогональной матрицы А, т. е.

Размерность преобразованного пространства понижена до . Согласно (7.4.9) и (7.4.10),

Матрица в силу ее ортонормированности имеет диагональный вид

Поэтому внутреннее расстояние множества можно записать как

Теперь необходимо так определить матрицу весов чтобы расстояние принимало при выполнении заданного ограничения экстремальное значение. Будут рассмотрены два случая.

Рассмотрим в первую очередь ограничение . Для того чтобы исключить тривиальное решение ограничение можно представить в виде Минимизация внутреннего расстояния с учетом этого ограничения эквивалентна минимизации величины

Взяв частную производную от (7.4.14) по весовому коэффициенту приравняв ее нулю и упростив, получим

где множитель Лагранжа у определяется выражением

Подстановка выражения (7.4.16) в (7.4.15) дает

Итак, матрица весов определяется следующим образом:

Подстановка выражения (7.4.17) в (7.4.13) приводит к формуле для минимального внутреннего расстояния множества

Из этого сотношения очевидно, что расстояние и является глобальным минимумом, если используются наименьших характеристических чисел. Таким образом, если мы хотим минимизировать внутреннее расстояние множества, то в качестве векторов признаков следует выбирать собственные векторы, соответствующие наименьшим характеристическим числам ковариационной матрицы

С другой стороны, можно показать, что при ограничении весовыми коэффициентами будут

а минимальное внутреннее расстояние множества определяется выражением

Таким образом, мы считаем, что значение внутреннего расстояния множества достигнет глобального минимума, если в качестве характеристических чисел выбраны наименьших из характеристических чисел ковариационной матрицы и матрица преобразования А составлена из соответствующих собственных векторов.