1.3. Обучение в линейных классификаторах

Рассмотренный в 1.2 линейный классификатор на два класса легко может быть осуществлен с помощью одного порогового логического элемента. Если образы различных классов линейно разделимы (могут быть разделены гиперплоскостью в пространстве признаков то при правильных значениях весовых коэффициентов в (1.5) можно получить вполне правильное распознавание. Практически, однако, нужные значения весов отсутствуют. В этих условиях предполагается, что классификатор построен так, что способен устанавливать лучшие значения весов по входным образам. Основная идея заключается в том, что, «осматривая» образ известных классов, классификатор может автоматически определять веса, необходимые для правильного распознавания.

Предполагается, что с увеличением числа «показанных» образов способность распознавания классификатора становится все лучше и лучше. Этот процесс называется тренировкой или обучением, а вводимые при этом образы называются обучающими образами. Несколько простых правил обучения кратко рассматриваются в данном параграфе.

Пусть обозначает дополненный вектор признаков, равный

где X — вектор признаков образа. Рассмотрим два множества обучающих образов и принадлежащих двум различным классам образов Соответственно этим двум обучающим множествам есть два множества дополненных векторов элементы получены путем дополнения векторов, принадлежащих множествам и , что два обучающих множества линейно разделимы, означает существование вектора (называемого вектором весов решения) такого, что

или

где

Процедуру обучения («исправление ошибок») для линейного классификатора можно сформулировать следующим образом. Для любого произведение должно быть положительным, т.е. Если классификатор дает ошибочный (т.е. или неопределенный результат (т. е. то надо взять новый вектор весов

где называется поправочным дополнением. С другой стороны, для Если выход прибора ошибочный (т. е. или неопределенный, то

принимаем

В начале обучения для принимаются любые удобные значения. Для выбора а можно предложить три правила:

(1) Правило фиксированного дополнения-, а является любым фиксированным положительным числом.

(2) Правило абсолютной поправки: а берется равным наименьшему целому числу, при котором значение переходит порог, равный нулю. Это означает, что

(3) Правило дробной поправки а выбирается так, что

или эквивалентно,

Сходимость этих трех правил исправления ошибок может быть доказана [1]. Под сходимостью понимается следующее: если два обучающих множества линейно разделимы, то последовательность весовых векторов, построенная по правилам обучения, сходится к вектору весов решения за конечное число шагов обучения или итераций.