ИНФОРМАТИВНОСТЬ ПРИЗНАКОВ

— величина, количественно характеризующая пригодность признаков (или их набора) X для распознавания классов объектов. При этом предполагается, что предъявленные для распознавания объекты представляются сигналами в пространстве признаков X. В распознавании образов в качестве И. п. используются условная энтропия, вероятность ошибки распознавания, дивергенция Кульбака, дисперсионная мера и другие величины. Наиболее часто встречается условная энтропия Н:

где К — множество классов, X — признаки, k — номер класса, х - сигнал в пространстве признаков плотность вероятности появления сигнала апостериорная вероятность класса к при условии наблюдения сигнала х. В случае, когда признаки X позволяют безошибочно указывать класс, условная энтропия равна нулю. При сравнении двух наборов признаков более информативным является тот, который характеризуется меньшей условной энтропией. На практике использование И. п. затруднительно из-за неизвестных вероятностей При выборе информативных признаков чаще всего исходят из свойств тех сигналов, которые собираются классифицировать. Учет свойств сигналов позволяет приближенно судить о распределениях и находить достаточно информативные признаки.

Информативность набора признаков следует отличать от информативности отдельных признаков набора. Только в том случае, когда признаки независимы при условии отдельных классов, информативность набора признаков равна сумме информативности отдельных признаков. В этом случае на основании информативности отдельных признаков можно составлять наиболее информативные наборы. Если признаки зависимы, И. п. не выражается через информативность отдельных признаков, а выбор наиболее информативных наборов по информативности отдельных признаков становится невозможным.

Лит.: Ковалевский В. А. Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965; Кульбак С. Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с. 364—381]. Г. И. Винцюк.