§ 4.7. Метод, основанный на определении количества информации

Сравнительная оценка качества признаков может быть произведена также на основе определения количества информации, которое получает система в процессе распознавания данного объекта в результате определения каждого из этих признаков.

Пусть распознаваемый объект может принадлежать лишь одному из классов, априорные вероятности отнесения этого объекта к определенному классу обозначены через а условие плотности распределения значений признаков будет

До проведения экспериментов исходная априорная неопределенность состояния системы, или ее энтропия

Здесь логарифм может быть взят при любом основании На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах — битах.

Определим, какое количество информации получает система распознавания при измерении признака

Если признак принимает дискретные значения с вероятностями

то полная условная энтропия системы распознавания при измерении всех возможных значений признака

Если признак непрерывный и его совместная плотность распределения

— условная плотность распределения признака классе), то значение полной условной энтропии системы после измерения признака

где полная область изменения признака по всем классам; область изменения признака в классе.

Таким образом, если проведены эксперименты, связанные с определением признака и рассчитаны апостериорные вероятности отнесения объекта к соответствующим классам, то количество информации, которое получает система распознавания в результате проведения этих экспериментов, равно: если признак дискретный —

если признак непрерывный —

Аналогичные выражения могут быть получены и для признака При этом будем полагать, что качество признака выше, чем качество признака в случае, если количество информации, связанное с определением признака больше, чем количество информации, получаемой системой при определении признака т. е.

Пример. Определим на основе данных рассмотренного в § 4.5 примера, какой из признаков, или вносит в систему распознавания большее количество информации.

Начальная энтропия системы

Конечная энтропия системы при условии использования признака

где апостериорные вероятности на интервале изменения признака от 7 до 8 с соответственно равны:

При других значениях апостериорные вероятности соответственно равны единице и нулю и, следовательно, их логарифмы равны нулю.

Интервал изменения признака Таким образом.

Количество информации, полученное при изменении признака

Конечная энтропия системы при использовании признака

где апостериорные вероятности на интервале изменения признака от 3 до соответственно равны:

Интервал изменения признака Таким образом,

Количество информации, полученное при измерении признака

Следовательно, признак более информативен, чем признак