2.8. РАЗДЕЛЯЮЩИЕ ФУНКЦИИ ДЛЯ СЛУЧАЯ НОРМАЛЬНОЙ ПЛОТНОСТИ

Как мы видели в разд. 2.5, классификация с минимальным уровнем ошибки может осуществляться посредством разделяющих функций вида

Это выражение легко оценивается в случае, когда многомерная плотность нормальна. Пусть Тогда, согласно выражению (23), имеем

Рассмотрим этот результат в некоторых частных случаях.

2.8.1. СЛУЧАЙ 1

Эта простейшая ситуация возникает тогда, когда признаки статистически независимы и имеют одинаковую дисперсию Ковариационная матрица при этом становится диагональной, превращаясь в произведение на единичную матрицу I. Выборки при этом попадают внутрь одинаковых гиперсферических кластеров, причем каждый кластер класса имеет своим центром вектор средних значений . Здесь значительно упрощается расчет определителя и матрицы, обратной ; они равны соответственно . В соотношении (31) можно пренебречь несущественными постоянными слагаемыми так как их значения не зависят от г. В результате разделяющие функции принимают простой вид:

где евклидова норма, т. е.

Если для всех с классов априорные вероятности равны, то слагаемое также становится несущественной аддитивной константой, которой можно пренебречь. Оптимальное решающее правило формулируется в этом случае очень просто: чтобы определить класс вектора признаков х, следует измерить евклидово расстояние от х до каждого из с векторов средних значений и отнести х к классу, соответствующему ближайшему среднему значению. Такой классификатор называют классификатором по минимуму расстояния. Если каждый из векторов средних значений считать идеальным прототипом или эталоном для образов своего класса, то это по существу будет процедура сравнения с эталоном. Если априорные вероятности не равны, то, согласно соотношению (32), квадрат расстояния должен быть нормирован по дисперсии и смещен на величину ; поэтому в случае, когда х одинаково близок к двум различным векторам средних значений, при принятии решения следует предпочесть класс, априорно более вероятный.

На самом деле нет необходимости вычислять расстояние в каждом из этих случаев. Раскрытие квадратичной формы приводит к выражению

являющемуся квадратичной функцией х. Вместе с тем квадратичный член неизменный для любого i, представляет собой постоянное слагаемое, и им можно пренебречь. В результате получаем эквивалентную линейную разделяющую функцию вида

где

и

Классификатор, основанный на использовании линейных разделяющих функций, называется линейной машиной. Классификатор

Рис. 2.8. Границы областей решений при использовании классификатора по минимуму расстояния. а — задача для двух классов, б — задача для четырех классов.

этого типа обладает многими свойствами, интересными с теоретической точки зрения; некоторые из них будут подробно обсуждаться в гл. 5. Здесь же заметим просто, что поверхности решений в случае линейной машины явятся частями гиперплоскостей, определяемых линейными уравнениями Для данного частного случая это уравнение можно записать в виде

где

и

Это уравнение определяет ортогональную вектору w гиперплоскость, проходящую через точку Поскольку гиперплоскость, разделяющая будет ортогональна прямой, соединяющей средние значения. Если то точка находится посередине между средними значениями, а гиперплоскость проходит через середину отрезка, соединяющего средние значения перпендикулярно ему (рис. 2.8). Этого следовало бы ожидать по той причине, что классификатор в данном случае есть классификатор по минимуму расстояния. Если то точка смещается, удаляясь от более вероятного среднего значения. Вместе с тем следует заметить, что если дисперсия мала по сравнению с квадратом расстояния то положение границы областей решений сравнительно мало зависит от точных значений априорных вероятностей.

2.8.2. СЛУЧАЙ 2

В другом простом случае ковариационные матрицы для всех классов одинаковы. Геометрически это соответствует ситуации, при которой выборки попадают внутрь гиперэллипсоидальных областей (кластеров) одинаковых размеров и формы, с вектором средних значений в центре каждой. Не зависящими от i слагаемыми в соотношении (31) можно пренебречь. В результате получаем разделяющие функции вида

Если априорные вероятности для всех с классов равны, то слагаемым можно пренебречь. Оптимальное решающее правило в этом случае снова оказывается очень простым: для классификации вектора признаков следует определить квадратичное махаланобисово расстояние от х до каждого из с векторов средних значений и отнести х к классу, соответствующему ближайшему среднему значению Как и прежде, в случае неравных априорных вероятностей, при принятии решения несколько большее предпочтение отдается классу, априорно более вероятному.

При раскрытии квадратичной формы обнаруживается, что квадратичное слагаемое не зависит от i. Исключая его, снова получим линейные разделяющие функции вида

где

и

Рис. 2.9. Граница областей решений при использовании классификатора по минимуму махаланобисова расстояния.

Так как разделяющие функции линейны, границы областей решений в этом случае становятся гиперплоскостями (рис. 2.9). Для смежных граница между ними описывается уравнением

где

и

Так как направление вектора в общем случае не совпадает с направлением то гиперплоскость, разделяющая вообще говоря, не ортогональна отрезку, соединяющему средние значения. Вместе с тем в случае равных априорных вероятностей она пересекает этот отрезок в точке находящейся посередине между средними значениями. При неравных априорных вероятностях граничная гиперплоскость смещается, удаляясь от более вероятного среднего значения.

2.8.3. СЛУЧАЙ 3

В общем случае многомерного нормального распределения ковариационные матрицы для каждого класса различны. В выражении (31) можно пренебречь только слагаемым так что получаемые разделяющие функции оказываются существенно квадратичными:

где

Границы областей решений представляют собой гиперквадрики и могут принимать любую из общих форм — гиперплоскостей, гиперсфер, гиперэллипсоидов, гиперпараболоидов или разного вида гипергиперболоидов.

Рис. 2.10. Виды границ областей решений в общем случае двумерного нормального распределения. а — круг, б — эллипс, в — парабола, г — гипербола, д — прямые.

То, каким образом могут возникнуть эти различные виды гиперквадрик, изображено для двумерного случая

на рис. 2.10. Так как переменные независимы для фиксированного класса, их ковариационные матрицы диагональны. Поверхности решений различаются исключительно из-за различия между дисперсиями. Сами дисперсии обозначены пронумерованными контурами постоянной плотности вероятности. На рис. 2.10 (а) дисперсии для меньше, чем для Поэтому более вероятно, что выборки, принадлежащие классу 2, окажутся вблизи среднего значения для этого класса, а из-за центральной симметрии граница решения образует окружность, внутри которой лежит (та. При растяжении оси как показано на рис. 2.10 (б), граница решения вытягивается в эллипс. Рис. 2.10 (в) иллюстрирует случай, когда обе плотности имеют одинаковые дисперсии в направлении но в направлении дисперсия для больше, чем для . Таким образом, выборки с большим вероятнее, принадлежат классу 1, а граница решения представляет собой параболу. С ростом дисперсия для меняется как на рис. и граница превращается в гиперболу. Наконец, скюбый случай симметрии, когда гиперболическая граница вырождается в пару прямых, приведен на рис. 2.10 (д).