10.2. Принцип обучения

Принцип обучения наилучшим образом можно объяснить с помощью простого примера. Предположим, что желаем обучить классификатор автоматически классифицировать образ Z, принадлежащий либо классу либо . Предположим также, что обучающее множество (т. е. множество, истинная классификация которого известна) состоит из следующего множества двумерных образов , где обозначает образ, принадлежащий :

(10.2.1)

Образы , принадлежащие классам и , располагаются в двумерном пространстве признаков, как показано на рис. 10.2. Пусть и — средние векторы образов, связанные с и соответственно. Тогда

Рис. 10.2. Двумерное пространство признаков

Из рис. 10.2 видно, что наиболее целесообразной решающей границей (т. е. линией на плоскости), разделяющей классы и , является срединный перпендикуляр к прямой, соединяющей и . Следующим шагом является описание предлагаемой решающей границы с помощью уравнения.

Рассмотрим любую точку Z, принадлежащую решающей границе, как показано на рис. 10.2. Так как решающая граница является срединным перпендикуляром к прямой, соединяющей и , то это в более простом виде можно записать как

(10.2.3)

Подставляя и выражение (10.2.2) в выражение (10.2.3), получаем уравнение для решающей границы в виде

(10.2.4)

Величина называется порогом классификатора. Уравнение (10.2.4) дает всю информацию, необходимую для создания классификатора. Основной характеристикой, представляющей классификатор, является дискриминантная функция , которая определяется как

(10.2.5)

Следует задать вопрос, "что в действительности делает ?". Чтобы ответить на этот вопрос, рассмотрим несколько испытательных образов (т. е. образов, точная классификация которых неизвестна), которые обозначим как (см. рис. 10.2). Вычислим теперь значение для каждого из испытательных образов:

Рассмотрение выражения (10.2.6) приводит к выводу, что

когда образ Z лежит «справа» от решающей границы, то , и наоборот, когда образ лежит «слева» от решающей границы, то . Все точки, лежащие справа (или с положительной стороны) от границы, ближе к , а точки, лежащие слева (или с отрицательной стороны) от границы, ближе к . Таким образом, благодаря дискриминантной функции , получаем следующее простое решающее правило:

Описанный выше классификатор, называемый элементом линейной пороговой логики, реализуется, как показано на рис. 10.3. Термин «линейный» означает, что является линейным функционалом признаков и .

Рис. 10.3. Элемент линейной пороговой логики

Обучающее множество образов используется для создания классификатора, который получается после вычисления дискриминатной функции . Получив дискриминатную функцию , говорят, что классификатор обучен, т. е. способен классифицировать образы с помощью соответствующего решающего правила. Элемент пороговой логики является классификатором, работающим по критерию минимума расстояния, так как решающее правило может быть сформулировано также следующим образом: