§ 4.5. Другие разделяющие функции

4.5.1. Линейные разделяющие функции для бинарных входов.

Часто в задачах распознавания образов входные величины принимают значения +1 или —1. Поскольку бинарные входные величины можно рассматривать как частный случай общего вида входных величин, то все предыдущие результаты остаются в силе и для бинарных входов. Однако бинарные входные величины обладают некоторыми характерными свойствами, которые упрощают рассмотрение определенных вопросов. В этом параграфе будут рассмотрены те свойства, которые относятся к линейным разделяющим функциям.

Независимые бинарные входы.

Если переменные независимы, то для классов плотности вероятности входного случайного вектора X определяются выражением

Поскольку — бинарные случайные величины, то плотность

вероятности дискретных переменных можно заменить на вероятность следующим образом:

где

Вместо условного отношения правдоподобия вычислим выражение

которое является линейной функцией относительно Поэтому в случае бинарных, независимых входных величин байесовский классификатор является линейным. Зависимые бинарные переменные будут рассмотрены в следующей главе.

Ортонормированность входных величин.

Если имеется бинарных входных величин, образующих входной вектор X, то число возможных входов равно Компоненты вектора удовлетворяют условиям

Если определить выборочную матрицу как

то векторы-строки этой матрицы будут взаимно ортонормированы, т. е.

Пример 4.4. В табл. 4.1 приведен пример трех бинарных входных величин. Легко видеть, что условия (4.99) — (4.103) выполняются.

Пусть требуемый выход системы распознавания образов при данном входе причем не обязательно двоичные числа. Одна из возможностей реализации в этой системе

Таблица 4.1. Возможные бинарные входы

линейной разделяющей функции состоит в минимизации среднеквадратичной ошибки между Среднеквадратичную ошибку можно записать следующим образом:

где векторы — те же самые, что и в (4.45). Коэффициенты минимизирующие среднеквадратичную ошибку будут равны

Таким образом, коэффициенты линейной разделяющей функции определяются через коэффициент корреляции между требуемыми выходами и входными величинами Этот вывод совладает с выводом, сделанным ранее для обычных линейных разделяющих функций. Следует, однако, заметить, что для бинарных входных величин условие выполняется без дополнительного преобразования автоматически.

В качестве примера величины рассмотрим

Выражение будет положительным для или и отрицательным в противном случае. Кроме того, абсолютное значение зависит от условных плотностей вероятности При большом и числе наблюдаемых объектов значительно меньшим отличны от нуля только для наблюдаемого вектора Поэтому для вычисления коэффициента корреляции, определяемого по формуле (4.106), требуется вместо только умножений и сложений [Фукунага, 1965].

Можно расширить вектор до вектора

Тогда выборочная матрица для этого расширенного вектора становится квадратной матрицей

«ммввимммм

Векторы-строки V являются ортонормированными векторами, так что

Линейная разделяющая функция для имеет вид

Аналогично тому, как была получена формула (4.106), можно определить коэффициенты разделяющей функции (4.111)

Здесь следует заметить следующее:

1) любой требуемый выход можно без ошибки выразить формулой

2) поскольку значения взаимно ортонормированы, то среднеквадратичная ошибка вследствие исключения члена из выражения равна

3) среднеквадратичная ошибка определяемая линейной: разделяющей функцией равна