8.2.2. Энтропия совокупности.

Энтропию совокупности можно использовать в качестве меры «неравномерности» распределения. Энтропия вычисляется по формуле

Если компоненты вектора X независимы, энтропию можно представить в виде суммы энтропий отдельных переменных:

Энтропия является значительно более сложным критерием, чем предыдущие два, потому что в формулу для энтропии входит плотность вероятности вектора X. И в этом случае задача выбора признаков состоит в нахождении признаков, максимизирующих для данного

Как и при рассмотрении критерия разброса, мы ограничиваемся преобразованиями, сохраняющими структуру распределения. Некоторые частные случаи рассматриваются ниже в качестве примеров.

Пример 8.2. Когда распределение вектора X является нормальным, выражение для энтропии (8.45) принимает вид

является функцией Если выбрать собственные векторы матрицы в качестве признаков, то (8.47) принимает вид

Следовательно, влияние отдельных признаков на энтропию можно оценивать независимо, и вклад признака равен

Пример 8.3. Когда компоненты вектора X являются двоичными величинами и независимы, выражение для энтропии (8.46) принимает вид

где — вероятность того, что Таким образом, вклад

отдельной перемехшой х оценивается величипой Когда входы не являются независимыми для аппроксимации плотности вероятности в (8.45) можно использовать разложение Бахадура, рассмотренное в гл. 6. Очевидно, в этом случае выражение для становится значительно более сложным.