9.3.3. Верхняя граница для распределений, отличных от нормального.

Ранее было указано, что использование границы Чернова или расстояния Бхатачария ограничивается некотбрыми распределениями специального вида, для которых эти границы могут быть найдены аналитически. В соответствии с этим мы рассмотрели выбор признаков с использованием этих границ для нормальных распределений. Однако существует несколько способов нахождения верхней границы вероятности ошибки и

для распределений общего вида. Рассмотрим одну из таких процедур [Хейдорн, 1968].

Для того чтобы получить верхнюю границу вероятности ошибки, воспользуемся комбинацией границы Бхатачария (9.56) и неравенства Иенсена. Для вогнутой функции «корень квадратный» неравенство Иенсена формулируется следующим образом:

Таблица 9.1 (см. скан) Выбор признаков для максимизации расстояния Бхатачария

Для того чтобы связать левую часть неравенства (9.98) с границей Бхатачария (9.56), предположим, что математическое ожидание выражения вычисляется при равномерном распределении X. Пусть А — объем области где X равномерно распределено. Тогда (9.98) превращается в

или

Область должна покрывать ту часть пространства, где не пренебрежимо мало. Тогда левая часть неравенства (9.100) почти эквивалентна границе Бхатачария, где интеграл берется по всему пространству Однако следует отметить, что граница (9.100) пропорциональна и становится равной при Поэтому область следует выбрать настолько малой, насколько это позволяет упомянутое выше ограничение. Таким образом, вероятность ошибки ограничена выражением

Так как нас интересуют распределения общего вида, будем оценивать плотность вероятности по имеющимся объектам. Воспользуемся оценкой Парзена (см. гл. 6) и возьмем в качестве ее ядра нормальное распределение. В таком случае

где - объекты из класса выборочная ковариационная матрица класса Как указывалось в гл. 6, число к должно удовлетворять условиям, гарантирующим сходимость (9.102) к истинному распределению при т. е.

Поэтому интеграл произведения двух плотностей вероятности можно приближенно записать в виде

Другими словами, (9.104) представляет собой выборочное среднее нормальных плотностей вероятности попарных расстояний между классами с весом

На практике, поскольку большие значения дают незначительный вклад в (9.104), при вычислении границы вероятности ошибки используют лишь объекты с небольшими значениями где а Область интегрирования должна быть выбрана таким образом, чтобы в нее попали объекты обоих классов.

Для получения непараметрических критериев разделимости классов можно вывести неравенства типа (9.104) и для других ядер. В частности, использование ядра «гиперсфера радиуса приводит к простому критерию, который вычисляется следующим образом.

1) Для каждого подсчитать число объектов удовлетворяющих условиям

2) Вычислить среднее всех чисел, полученных в (1).

Вывод этого критерия аналогичен выводу критерия (9.104) и оставляется в качестве упражнения. Этот критерий будет использован для непараметрических методов автоматической классификации в гл. 11, и его свойства будут подробно изучены.

Рассмотренный выше метод получения верхней границы вероятности ошибки основан на неравенстве Иенсена. Для проверки эффективности полученной границы рассмотрим случай нормальных распределений, где как так и можно вычислить аналитически:

или

Сравнивая (9.106) с (9.58), видим, что эти выражения отличаются вторыми членами. Вычислим А как объем эллипсоида, построенного на собственных векторах матриц . Объем -мерного эллипсоида с радиусами по главным осям равен

Предполагая, что плотности нормальных распределений пренебрежимо малы на расстояниях, больших а а, можно выбрать следующим образом:

На рис. 9.2 показано, как выбираются Напомним, что после одновременной диагонализации 1 и являются стандартными отклонениями соответственно класса 1 и класса 2.

Рис. 9.2. Выбор радиусов

Подставляя (9.107) и (9.108) в (9.106), получаем для второго члена (9.106) следующее выражение:

Пример 9.5. Первый и второй члены (9.58) и (9.106) для стандартных данных приведены в табл. 9.2.