7.1.1. Линейный классификатор для задач распознавания двух классов.

Перепишем (7.1) следующим образом:

где Тогда текущее значепие заменяется новым значением по следующим правилам [Нильсон, 1967]:

Так как вектор параметров в случае (7.3) обеспечивает дравильную классификацию объекта, то нет основания его менять.

В случае следует изменить так, чтобы увеличить Значение вычисленное по правилу (7.4), удовлетворяет,

этому условию, так как

Аналогичным образом значение вычисленное по правилу уменьшает

Так как мы при корректировке сами ограничились использованием только одного объекта и текущих значений параметров, описанная выше процедура является достаточно общей и нужно выбрать только значение параметра с.

Существует три возможности для выбора с.

1. Правило фиксированного приращения: с — константа.

2. Правило полной коррекции: выбрать с достаточно большим, так чтобы получить для и для , т. е.

Для того чтобы выполнить требования (7.7) и (7.8), параметр с должен удовлетворять условию

3. Градиентное правило коррекции. Если максимизируется или минимизируется некоторый критерий (например, среднеквадратичное отклонение теоретических значений выхода от фактических), то можно определить с таким образом, чтобы двигаться вдоль градиента критерия. Например, по аналогии с (4.76) можно минимизировать среднеквадратичное отклонение от выбирая

где для для Очевидно, выбор с зависит от выбранного критерия, — нужным образом выбранная положительная константа.

П ример 7.1. Построим классификатор, разделяющий четыре объекта, представленных на рис. 7.1. Объекты предъявляются машине в такой последовательности: Применяется правило фиксированного приращения с Последовательность получающихся в ходе обучения значений приведена в табл. 7.1. Вектор параметров сходится к вектору и мы получаем следующий классификатор:

Как видно из рис. 7.1, этот классификатор правильно разделяет данные четыре объекта

Пример 7.2. Рассмотрим случай, когда правильное разделение с использованием линейного решающего правила невозможно. Шесть объектов, показанных на рис. 7.2, вводятся в машину в последовательности

Рис. 7.1. Объекты примера 7.1.

Снова применим правило фиксированного приращения с Последовательность получающихся в ходе обучения значений вектора приведена в табл. 7.2.

Таблица 7.1 (см. скан) Последовательность

Мы получаем циклическую последовательность параметра: сходимость отсутствует, несмотря на то, что полученная последовательность содержит наилучший линейный классификатор

Всякий раз, когда мы имеем дело с итеративным процессом, возникает вопрос о сходимости этого процесса.

Рис. 7.2. Пример лииейиой неразделимости классов.

Доказано, что если два распределения линейно разделимы, то правило фиксированного приращения, правило полной коррекции и градиентное правило коррекции при подходящем выборе обеспечивают сходимость описанного выше процесса.

Таблица 7.2 (см. скан) Последовательность для случая линейно неразделимых классов