7.5. ВЫБОР ПРИЗНАКОВ ПРИ ПОМОЩИ МИНИМИЗАЦИИ ЭНТРОПИИ

Энтропия представляет собой статистическую меру неопределенности. Хорошей мерой внутреннего разнообразия для заданного семейства векторов образов служит энтропия совокупности, определяемая как

где — плотность вероятности совокупности образов, а — оператор математического ожидания плотности . Понятие энтропии удобно использовать в качестве критерия при организации оптимального выбора признаков. Признаки, уменьшающие неопределенность заданной ситуации, считаются более информативными, чем те, которые приводят к противоположном.

результату. Таким образом, если считать энтропию мерой неопределенности, то разумным правилом является выбор признаков, обеспечивающих минимизацию энтропии рассматриваемых классов. Поскольку это правило эквивалентно минимизации дисперсии в различных совокупностях образов, то вполне можно ожидать, что соответствующая процедура будет обладать кластеризационными свойствами.

Рассмотрим М классов, соответствующие совокупности образов которых характеризуются плотностями распределения . В силу (7.5.1) энтропия совокупности образов определяется как

где интегрирование осуществляется по пространству образов. Очевидно, что при т. е. при отсутствии неопределенности, имеем в полном соответствии с данной выше интерпретацией понятия энтропии.

Далее будет предполагаться, что каждая из М совокупностей образов характеризуется плотностью нормального распределения , где и — соответственно вектор математического ожидания и ковариационная матрица совокупности образов (см. гл. 4). Кроме того, будет предполагаться, что ковариационные матрицы, описывающие статистические характеристики всех М классов, идентичны. Этот случай возникает, если каждый образ, принадлежащий некоторому классу, является случайным вектором, полученным в результате наложения случайного вектора на неслучайный. Наложенные случайные векторы, что характерно для многих приложений, выбираются из одной и той же нормально распределенной совокупности.

Основная идея, лежащая в основе рассматриваемых в данном параграфе методов, с учетом введенных допущений заключается в определении матрицы линейного преобразования А, переводящей заданные векторы образов в новые векторы меньшей размерности — изображения. Это преобразование можно представить как

причем матрица преобразования отыскивается при помощи минимизации энтропий совокупностей образов, входящих в рассматриваемые классы. Здесь — вектор размерности — отображенный вектор, имеющий размерность и А — матрица размерности . Строками матрицы А служат выбранных векторов признаков представляющих

собой вектор-строки. Таким образом, матрица А имеет вид

Задача состоит в определении такого способа выбора векторов признаков, чтобы вектор преобразовывался в изображение у и одновременно минимизировалась величина энтропии, определяемой формулой (7.5.2).

Многомерное нормальное распределение полностью определяется вектором математического ожидания и ковариационной матрицей. Эта матрица в свою очередь определяется характеристическими числами и собственными векторами. Последние можно рассматривать как векторы, представляющие свойства рассматриваемых образов. Часть из этих векторов свойств содержит меньше информации, ценной для распознавания, чем другие векторы, и поэтому ими можно пренебречь. Это явление приводит к процедуре выбора признаков, предусматривающей использование наиболее важных векторов свойств в качестве векторов-признаков. Такие векторы-признакн можно затем использовать для формирования матрицы преобразования А. Один из подходов к выбору векторов-признаков, использующий принцип минимума энтропии, состоит в следующем.

В силу предположения о равенстве всех ковариационных матриц положим и получим следующее выражение для плотности нормального распределения образов класса:

Вектор математического ожидания для изображений у, обозначенный через определяется, согласно (7.5.3), как

Положив из (7.5.6) получаем, что

В таком случае ковариационная матрица для изображений равна

так как

Плотность распределения для изображений определяется, исходя из (7.5.6) и (7.5.9), как

Энтропия изображений равна

Подстановка выражения для плотности распределения (7.5.10) в выражение для энтропии (7.5.11) и минимизация относительно собственных векторов ковариационной матрицы С позволяют сформулировать следующий результат:

Функция энтропии принимает минимальное значение, если матрица преобразования А составлена из нормированных собственных векторов, соответствующих наименьшим характеристическим числам ковариационной матрицы С.

Применяя этот результат, надо иметь в виду, что число векторов, используемых для формирования матрицы А, должно быть достаточно большим, чтобы изображения несли достаточное количество различительной информации.

Следует четко представлять себе разницу между выбором и выделением признаков. В данном параграфе процедура выбора признаков сводится к выбору в качестве признаков собственных векторов ковариационной матрицы С, удовлетворяющих сформулированным выше условиям. Процедура выделения признаков состоит в определении характеристических чисел и собственных векторов ковариационной матрицы С по обучающей выборке.

Пример. Проиллюстрируем описанную процедуру простым примером. Допустим, что требуется понизить размерность образов, представленных на рис. 7.1, а, с помощью преобразования,

(кликните для просмотра скана)

(кликните для просмотра скана)

Характеристические числа ковариационной матрицы С равны

Поскольку ковариационная матрица — симметрическая, то всегда можно определить набор действительных ортогональных собственных векторов независимо от кратности характеристических чисел. Нормированные собственные векторы, соответствующие этим характеристическим числам, имеют вид

где собственные векторы соответствуют характеристическим числам в указанной последовательности. Выбор собственных векторов приводит к матрице преобразования

Выбор собственных векторов столь же оправдан, так как собственные векторы соответствуют одинаковым характеристическим числам.

Изображения, полученные в результате преобразования имеют следующий вид:

Образы с пониженной размерностью представлены на рис. 7.1,б. Интересно отметить эффект кластеризации, полученный после этого преобразования. Читатель может без труда убедиться

в том, что при перестановке собственных векторов в матрице А мы придем к тому же результату. Единственным отличием будет соответствующая перестановка компонент вектора у.

Дальнейшего понижения размерности можно добиться, используя для матрицы А только собственный вектор

Применение этого преобразования к исходным образам приводит к новым изображениям:

Образы пониженной размерности представлены на рис. 7.1, в. На этом рисунке снова отчетливо виден эффект кластеризации, возникающий в результате преобразования, минимизирующего энтропию.