5.4.4. Метод исключения одного объекта в случае нормальных распределений.

В этом разделе мы рассмотрим простую реализацию метода исключения одного объекта в случае нормальных распределений, когда удается устранить вычисление байесовских классификаторов [Фукунага, 1971 в].

Для нормальных распределений байесовский классификатор определяют выражением

где — вектор параметров Пусть

— вектор оценок параметров вычисленных по имеющимся N объектам, и пусть — вектор оценок параметров, вычисленных по объектам, оставшимся после исключения объекта Предположим, что исходная иыборка из независимых объектов содержит объектов класса объектов класса Тогда справедливы соотношения:

Согласно (5.167) для того, чтобы применить метод исключения одного объекта, нужно вычислить

Подобное выражение может быть получено и для

В приложении 5.1 с помощью формул (5.168) — (5.173) получено соотношение (5.175), где является оценкой отношения правдоподобия, полученной С-методом:

где

а

По выражениям (5.175) — (5.177) можно сделать следующие замечания:

1. Когда для определения вероятности ошибки используется

С-метод, то должны быть вычислены при Вычисление скалярной функции (5.176) для вычислительной машины является незначительной дополнительной нагрузкой по сравнению с вычислением для каждого к. Таким образом, суммарное время вычислений С-метода и метода исключения одного объекта становится почти эквивалентным времени вычислений только по С-методу. Напомним, что в С-методе требовалось синтезировать только один классификатор.

2. Как показано в приложении 5.1, величина определенная по формуле (5.176), всегда положительна независимо от того,

каковы значения Поэтому из (5.175) следует, что

Анализируя решающее правило (5.167), можпо сделать вывод, что

а) если объект неправильно классифицирован С-методом, то он также будет неправильно классифицирован методом исключения одного объекта;

б) могут быть некоторые объекты которые правильно классифицированы С-методом, но неправильно — методом исключения одного объекта.

Этот вывод для нормальных распределений является более сильным утверждением, чем неравенство (5.140), так как это неравенство справедиво только для математических ожиданий вероятности ошибки, в то время как вышеприведенное утверждение справедливо для отдельных объектов экзаменационной выборки.

3. При можно получить простейшую аппроксимацшо выражения (5.176) в виде

Пример 5.8. С-метод и метод исключения одного объекта проверялись с помощью стандартных данных имевших нормальное распределение. Размеры выборок при этом были соответственно равны и 400 для каждого класса.

В каждом эксперименте генерировалась выборка данных, вычислялись векторы выборочного среднего и ковариационные матрицы и Для вычисления оценок вероятностей ошибки

применялся С-метод и метод исключения одного объекта. Для вычисления экспериментальных средних значений и дисперсий этих оценок использовались сорок выборок объехчтов при и 400. Полученные результаты приведены в табл. 5.2. Теоретическая вероятность ошибки для этого

Таблица 5.2. Оценивание ошибки

примера равна 1,9% (см. табл. 3.3). Из выражения (5.180) видно, что различие в оценках отношения правдоподобия, вычисленных двумя разными методами, пропорционально

Анализ данных табл. 5.2 показывает, что смещение между двумя оценками вероятности ошибки уменьшается приблизительно пропорционально а среднеквадратичное отклонение вероятности ошибки уменьшается как Однако этому результату нет теоретического обоснования.