4.3. БАЙЕСОВСКИЙ КЛАССИФИКАТОР В СЛУЧАЕ ОБРАЗОВ, ХАРАКТЕРИЗУЮЩИХСЯ НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ

Если известно или с достаточными основаниями можно считать, что плотности распределения функций правдоподобия суть многомерные нормальные (гауссовские), то применение синтезированного в предыдущем параграфе байесовского классификатора приводит к получению ряда интересных и хорошо известных решающих функций. Многомерная нормальная плотность распределения является объектом усиленного внимания в связи с удобством ее аналитической обработки. Кроме того, она представляет собой подходящую модель для множества важных прикладных задач. Для начала мы обратимся к одномерной плотности нормального распределения одной случайной переменной

которая полностью определяется двумя параметрами — средним значением и дисперсией Эти параметры в свою очередь

определяются как

и

соответственно, где символ обозначает математическое ожидание. Так как плотность нормального распределения определяется двумя этими параметрами, ее часто для простоты записывают как Образы, характеризующиеся нормальным распределением, проявляют тенденцию к группировке вокруг среднего значения, а их рассеяние пропорционально среднеквадратичному отклонению . Около 95% объектов, извлеченных из совокупности с нормальным распределением, попадут в интервал, равный и имеющий в качестве центра среднее значение.

Итак, рассмотрим М классов образов, описываемых многомерными плотностями нормального распределения

где каждая плотность распределения полностью определяется вектором средних значений и ковариационной матрицей С, заданных соответственно как

и

где обозначает оператор математического ожидания, определенный на образах класса Символ обозначает в (4.3.4) размерность векторов образов, а запись — определитель ковариационной матрицы С.

Ковариационная матрица С; является симметрической и положительно полуопределенной. Ее диагональный элемент есть дисперсия элемента вектора образов. Элемент не стоящий на диагонали матрицы, представляет собой ковариацию случайных переменных Если переменные статистически независимы, то элемент Многомерная плотность нормального распределения сводится к произведению одномерных плотностей нормальных распределений, если все недиагональные элементы ковариационной матрицы — нули.

Многомерная плотность нормального распределения полностью определяется параметрами, которыми служат компоненты вектора средних значений и независимые элементы ковариационной матрицы. Образы, выбранные из совокупности с нормальным распределением, проявляют тенденцию к образованию одного кластера, центр которого определяется вектором средних значений, а форма — ковариационной матрицей. Из (4.3.4) следует, что геометрическими местами точек с постоянной плотностью распределения служат гиперэллипсоиды, направление главных осей которых определяется собственными векторами ковариационной матрицы, а длина этих осей — ее собственными значениями.

Согласно соотношению (4.2.21), решающую функцию для класса можно выбрать в виде . В связи с тем, однако, что плотность нормального распределения выражается экспонентой, удобнее работать с натуральным логарифмом от этой решающей функции. Другими словами, решающую функцию можно представить в виде

что полностью эквивалентно представлению (4.2.21) с точки зрения качества классификации, поскольку натуральный логарифм — монотонно возрастающая функция.

Подстановка выражения (4.3.4) в (4.3.7) приводит к

Поскольку член не зависит от его можно исключить; при этом решающая функция примет вид

Выражения (4.3.8) и (4.3.9) представляют байесовские решающие функции для нормально распределенных образов. Читателю необходимо помнить, что эти решающие функции выводились для случая нулевых потерь при правильной классификации и равенства потерь при всех видах неправильной классификации.

Решающие функции, определяемые формулами (4.3.8) и (4.3.9), являются гиперквадриками, поскольку видно, что ни один член выше второго порядка, составленный из компонент образа в эти соотношения не входит. В таком случае очевидно,

что наилучшим результатом применения байесовского классификатора к нормально распределенным образам служит построение обобщенных разделяющих поверхностей второго порядка для всех пар классов. Если, однако, совокупность образов действительно распределена нормально, то в среднем никакие поверхности другого типа не обеспечат получение лучших результатов.

Если для всех ковариационные матрицы одинаковы, т. е. , то легко можно показать, что удаление из соотношения (4.3.9) членов, не зависящих от значения, принимаемого индексом приводит к

это выражение представляет множество линейных решающих функций.

Если к тому же , где I — единичная матрица, и вероятность появления класса есть , то выражение для решающей функции принимает вид

Читатель должен узнать в (4.3.11) решающие функции классификатора, действующего по критерию минимума расстояния, для случая единственного эталона класса, причем в роли этого эталона выступает вектор средних значений образов, входящих в соответствующий класс. Из уравнения (4.3.10) следует, что разделяющая граница для классов определяется как

Из предшествующего обсуждения очевидно, что при равенстве ковариационных матриц определяемая формулой (4.3.12) разделяющая поверхность линейна относительно переменных, описывающих гиперплоскость. В тех случаях, когда ковариационные матрицы различны, разделяющая поверхность представляется суммой линейных и квадратичных членов, описывающих гиперквадрику. Можно показать, что линейные и квадратичные решающие функции обеспечивают при соответствующем выборе коэффициентов достижение теоретического оптимума не только при работе с плотностью нормального распределения, но и для ряда распределений других типов. Интерес

к линейным и квадратичным дискриминантным функциям возникает также в связи с использованием их в качестве аппроксимаций первого и второго порядка произвольных отношений правдоподобия, поскольку при решении целого ряда прикладных задач эти функции являются практическим решением, которое может быть без особых проблем реализовано в виде специализированного устройства или машинной программы.

Рис. 4.3. Образы, использованные в иллюстрирующем примере; границы, их разделяющие, получены с помощью байесовской процедуры.

Пример. Рассмотрим образы, изображенные на рис. 4.3. В § 4.6 будет показано, что векторы средних значений и ковариационные матрицы можно оценивать, используя следующие соотношения:

и

где через обозначено количество образов, вошедшее в класс а вектор представляет образ класса.

Применение этих выражений к образам, представленным на рис. 4.3, позволяет установить, что

Так как ковариационные матрицы равны, байесовские решающие функции для данного примера определяются из (4.3.10). Допустив, что член уравнения можно опустить, перейдя к следующему выражению:

где

Выполнив разложения, приходим к следующим выражениям для решающих функций:

и

Искомая разделяющая поверхность определяется уравнением

Часть этой поверхности изображена на рис. 4.3. Обратите внимание на то, что она эффективно осуществляет дихотомию двух классов.

Следует заметить, что хотя в данном случае метод привел к получению очень хороших результатов, байесовское классификационное правило, будучи статистической концепцией, не должно в принципе приводить к получению оптимальных результатов на малых выборках.