1.4.2. Функции потерь.
Пусть
— некоторое подмножество координат X. Обозначим
входящие в него компоненты X. Для того чтобы произвести отбор информативного подмножества координат, вводится функция потерь
, обладающая следующими свойствами:
для
для
наборы признаков
и S считаются эквивалентными,
для
набор признаков S считается предпочтительнее набора
.
В качестве
можно взять, например, ожидаемую ошибку байесовского классификатора
где
— условная вероятность i ипотезы
при наблюдении
а математическое ожидание берется по мере
Нетрудно показать, что для
условие (1.58) выполняется. Это условие помогает эффективно организовать процесс отбора признаков. Пусть, например, исследованы два подмножества признаков S, и
и пусть
тогда нет необходимости исследовать любое из подмножеств
так как в силу (1.58) заранее известно, что они менее предпочтительны, чем
Это соображение легло в основу многих высокоэффективных вычислительных алгоритмов.
Заметим, что для определения Q можно использовать любую из мер разделимости распределений, введенных в п. 1.1.5. Для этого достаточно положить
где
— соответствующая мера,
— функция распределения
при условии, что верна гипотеза
Взаимоотношения между различными функциями потерь систематизированы в [189]. Для нас только важно, что нет функции потерь, которая отбирала бы признаки в том же порядке, что и
.
Вместе с тем многочисленные примеры показывают, что корреляция между наборами, отобранными с помощью различных функций Q, высокая.
В заключение отметим, что только в сильных предположениях п. 4.5.1 удается надежно оценивать групповую информативность признаков по индивидуальной. В общем случае неожиданности возможны даже в модели Фишера. В [325] утверждается, что для любого набора чисел
удовлетворяющего условиям согласования (1.58), можно подобрать задачу Фишера, в которой числу i соответствует вектор
и при этом для всех S имеем
. В частности, возможна, например, такая неожиданная комбинация информативностей, когда при трех группах признаков индивидуально наиболее информативна третья группа, а попарно — совокупность первых двух групп.