1.4.2. Функции потерь.
Пусть 
— некоторое подмножество координат X. Обозначим 
входящие в него компоненты X. Для того чтобы произвести отбор информативного подмножества координат, вводится функция потерь 
, обладающая следующими свойствами:
для 
для 
наборы признаков 
и S считаются эквивалентными,
для 
набор признаков S считается предпочтительнее набора 
.
В качестве 
можно взять, например, ожидаемую ошибку байесовского классификатора
где 
— условная вероятность i ипотезы 
при наблюдении 
а математическое ожидание берется по мере 
Нетрудно показать, что для 
условие (1.58) выполняется. Это условие помогает эффективно организовать процесс отбора признаков. Пусть, например, исследованы два подмножества признаков S, и 
и пусть 
тогда нет необходимости исследовать любое из подмножеств 
так как в силу (1.58) заранее известно, что они менее предпочтительны, чем 
Это соображение легло в основу многих высокоэффективных вычислительных алгоритмов.
Заметим, что для определения Q можно использовать любую из мер разделимости распределений, введенных в п. 1.1.5. Для этого достаточно положить
где 
— соответствующая мера, 
— функция распределения 
при условии, что верна гипотеза 
Взаимоотношения между различными функциями потерь систематизированы в [189]. Для нас только важно, что нет функции потерь, которая отбирала бы признаки в том же порядке, что и 
.
Вместе с тем многочисленные примеры показывают, что корреляция между наборами, отобранными с помощью различных функций Q, высокая.
В заключение отметим, что только в сильных предположениях п. 4.5.1 удается надежно оценивать групповую информативность признаков по индивидуальной. В общем случае неожиданности возможны даже в модели Фишера. В [325] утверждается, что для любого набора чисел 
удовлетворяющего условиям согласования (1.58), можно подобрать задачу Фишера, в которой числу i соответствует вектор 
и при этом для всех S имеем 
. В частности, возможна, например, такая неожиданная комбинация информативностей, когда при трех группах признаков индивидуально наиболее информативна третья группа, а попарно — совокупность первых двух групп.
