10.8. Классификатор для распознавания трех классов образов по критерию наименьшего среднеквадратичного расстояния

Рассмотрение классификатора с наименьшим среднеквадратичным расстоянием наиболее наглядно может быть проведено для трех классов. Для -мерного пространства признаков получаем ()-мерное расширенное пространство признаков, приписывая каждому образу Z координату, равную , для получения . Эта процедура проиллюстрирована для на рис. 10.13а и б.

Рис. 10.13. Классификатор для трех классов, работающий по критерию наименьшего среднеквадратичного расстояния:

а — пространство признаков; б — расширенное пространство признаков; в — пространство решений

Определяем преобразование А, отображающее в в смысле наименьших квадратов. Выберем в качестве вершины трех единичных векторов, как показано на рис. 10.13в. Обозначим априорные вероятности классов через . Преобразование можно непосредственно найти в соответствии с рассуждениями, приведенными в § 10.6. В частности, в соответствии с выражением (10.6.5) получаем

Решая это уравнение относительно А, получаем

, (10.8.2)

где

Очевидно, что матрицами взаимной корреляции и автокорреляции соответственно [см. выражение ]. Из.

(10.8.2) следует, что А — матрица размером . Для классификации образа классификатор в первую очередь вычисляет , а затем отображает Z в пространство решений (рис. 10.13). При этом применяется следующее решающее правило по критерию минимума, расстояния: если L наиболее близок , то Z классифицируется как принадлежащий . Расстояния, которые вычисляет классификатор, определяются как , т. е.

(10.8.3)

В выражении (10.8.3) , и, следовательно, -минимально, когда максимально. Поэтому вместо в (10.8.3) достаточно, чтобы классификатор вычислил

(10.8.4)

Подставляя и в (10.8.4), получаем

(10.8.5)

Если матрица преобразования обозначается как

то (10.8.5) означает, что представляет собой следующие дискриминантные функции, которые определяют классификатор:

(10.8.6)

Из (10.8.6) следует, что классификатор полностью определяется матрицей преобразования А, которая получается из множества обучающих образов. Для классификации данного образа классификатор вычисляет три числа: и — в соответствии с (10.8.6). Если , то этот образ приписывается . Реализация такого классификатора показана на рис. 10.14. Рассмотрим два численных примера.

Рис. 10.14. Реализация классификатора для распознавания трех классов образов по критерию наименьшего среднеквадратичного расстояния

Пример 10.8.1. Пусть обучающее множество размерностью 2 (т. е. ) представлено следующим образом:

а) Предполагая , требуется найти дискриминантные функции, которые определяют классификатор.

б) С помощью , требуется определить уравнения разделяющих границ и изобразить их в пространстве признаков.

Решение. а) А вычисляют в соответствии с (10.8.2) следующим образом:

что дает

(10.8.7)

в результате получаем

(10.8.8)

Матрица, обратная равна

Подставляя (10.8.7) и (10.8.9) в выражение (10.8.2), получаем

(10.8.10)

Таким образом, дискриминантные функции, которые определяют классификатор, имеют вид [см. выражение (10.8.6)]

Реализация полученного классификатора показана на рис. 10.15.

б) Уравнения границ и , которые соответственно разделяют и , получаем из следующим образом:

(10.8.12)

Проведя вычисления в соответствии с (10.8.12), получаем разделяющие границы, показанные на рис. 10.16.

Рис. 10.15. Реализация классификатора по данным примера 10.8.1

Пример 10.8.2. Рассмотрим двумерное обучающее множество, изображенное на рис. 10.17 (символы и обозначают образы, принадлежащие и соответственно).

Рис. 10.16. Разделяющие границы для классификатора, изображенного на рис. 10.15

а) Найти , предполагая .

б) Использовать классификатор для классификации образов, входящих обучающее множество.

Рис. 10.17. Обучающее множество для примера 10.8.2

Рис. 10.18. Разделяющие границы для классификатора по данным примера 10.8.2

Решение, а) Вычисления проводим по той же схеме, что и в примере 10.8.1. В результате получаем

Соответственно дискриминантные функции определяются как

б) Классификация образов, принадлежащих обучающему множеству, осуществляется в результате вычисления для каждого Z, принадлежащего множеству. Затем Z приписывается если . Результаты классификации обычно суммируются в виде следующей матрицы ошибок классификации:

(10.8.14)

В матрице F ненулевые элементы, стоящие не на главной диагонали, соответствуют ошибкам классификатора, т. е. если элемент в строке и столбце матрицы F обозначить как и , то s образов, принадлежащих , были ошибочно классифицированы как принадлежащие .

Примечание. Полезно рассмотреть ошибки, которые отображены в матрице ошибок классификации. Это можно сделать, изобразив разделяющие границы, которые соответствуют приведенному классификатору. На рис. 10.18 показаны разделяющие границы и . Процедура их получения опущена, так как она полностью повторяет процедуру, приведенную в примере 10.8.1. Из рассмотрения рис. 10.18 следует, что два треугольника ошибочно классифицируются как принадлежащие , а один треугольник ошибочно приписывается . Это соответствует второй строке F. Таким же образом один квадрат ошибочно приписывается , что соответствует третьей строке F. Наконец, все образы классифицируются правильно, что отображено в первой строке .

В заключение заметим, что любой классификатор, обладающий линейными границами, будет совершать ошибки при классификации обучающего множества типа, изображенного на рис. 10.18, так как и нельзя разделить линейными границами.