5.6. ПОДХОД, ОСНОВАННЫЙ НА ИСПОЛЬЗОВАНИИ ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ

Обсуждение, проведенное в предыдущих параграфах, показывает, что при построении систем классификации образов аналитическими методами первоочередной задачей является определение решающих функций, которые порождают в пространстве образов границы, отделяющие образы, принадлежащие различным классам. Было рассмотрено несколько основных подходов к классификации образов и построению алгоритмов

обучения для определения решающих функций. Обсуждены свойства нескольких алгоритмов обучения, обеспечивающих коррекцию весов и представляющих удобное средство построения разделяющих границ на основе выборки образов, для которой известна принадлежность входящих в нее образов к М допустимым классам. В настоящем параграфе рассматривается подход к определению решающих функций и разделяющих границ, основанный на использовании понятия потенциальной функции.

Допустим, что необходимо разделить два класса и -Выборочные образы, принадлежащие обоим классам, представлены векторами или точками в -мерном пространстве образов. Если ввести аналогию между точками, представляющими выборочные образы, и некоторым источником энергии, то в любой из этих точек потенциал достигает максимального значения и быстро уменьшается при переходе во всякую точку, отстоящую от точки, представляющей выборочный образ На основе этой аналогии можно допустить существование эквипотенциальных контуров, которые описываются потенциальной функцией Можно считать, что кластер, образованный выборочными образами, принадлежащими классу образует «плато», причем выборочные образы размещаются на вершинах некоторой группы холмов. Подобную геометрическую интерпретацию можно ввести и для образов класса Эти два «плато» разделены «долиной», в которой, как считается, потенциал падает до нуля. На основе таких интуитивных доводов создай метод потенциальных функций, позволяющий при проведении классификации определять решающие функции.

5.6.1. Получение решающих функций

Решающие функции для классификации образов можно получить из потенциальных функций для векторов, представляющих выборочные образы пространстве образов. Потенциальную функцию для любой точки соответствующей выборочному образу, можно представить выражением

где функции полагаются для удобства ортонормированными, а действительные числа отличные от нуля, выбраны таким образом, чтобы потенциальная

функция для образов была ограничена. Задача выбора соответствующей потенциальной функции рассматривается в следующем пункте.

Рещающую функцию можно построить, исходя из последовательности потенциальных функций соответствующей последовательности образов обучающей выборки , предъявляемых системе в процессе обучения. Решающую функцию связанную с потенциальными функциями множеством ортонормированных функций можно представить в виде ряда

Коэффициенты входящие в (5.6.2), неизвестны и могут быть определены по обучающей выборке образов с помощью итеративной процедуры. Решающая функция является относительно гладкой функцией, и в малой области число ее экстремумов невелико; значения в близко расположенных точках мало отличаются.

Ниже будет показано, что решающая функция, определяемая формулой (5.6.2), связана с потенциальной функцией (5.6.1) рекуррентным соотношением

где — номер шага итерации, а коэффициент, смысл которого прояснится ниже. Важный момент, который следует иметь в виду, состоит в том, что решающую функцию можно непосредственно получить из потенциальных функций. Поэтому дальнейшее обсуждение будет посвящено в первую очередь определению потенциальных функций.

На этапе обучения выборочные образы предъявляются системе, которая последовательно вычисляет значения соответствующих потенциальных функций. Кумулятивный потенциал на шаге итерации определяется совокупностью значений отдельных потенциальных функций. Этот кумулятивный потенциал, который мы будем обозначать через определен таким образом, чтобы при неправильной классификации образа обучающей выборки производилась коррекция значения кумулятивного потенциала. Если же этот образ классифицируется правильно, то на данном шаге итерации значение кумулятивного потенциала не изменяется. Кумулятивный потенциал вводится следующим образом.

В начале этапа обучения исходное значение кумулятивного потенциала полагается для удобства записи равным нулю. При предъявлении первого образа из обучающей

выборки значение кумулятивного потенциала корректируется согласно следующему соотношению:

Поскольку, однако, результат первого вычисления значения кумулятивного потенциала можно представить как

В этом случае кумулятивный потенциал просто равен значению потенциальной функции для выборочного образа Потенциал предполагается положительным для образов, принадлежащих классу и отрицательным для образов, принадлежащих классу . В этом случае кумулятивный потенциал представляет начальный вариант разделяющей границы.

При предъявлении второго образа обучающей выборки значение кумулятивного потенциала определяется следующим образом:

Последнее означает, что кумулятивный потенциал не изменяется, если точка, представляющая выборочный образ, лежит с «правильной» стороны разделяющей границы, определенной кумулятивным потенциалом

Возникновение этих двух ситуаций означает, что при расположении точки, представляющей выборочный образ с «неправильной» стороны разделяющей границы, определенной кумулятивным потенциалом значение кумулятивного потенциала увеличивается на величину для образа и уменьшается на величину для образа

При предъявлении третьего образа обучающей выборки кумулятивный потенциал определяется аналогично.

Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом обеспечивает

правильную классификацию, кумулятивный потенциал не изменяется.

Другими словами, в тех случаях, когда разделяющая граница, определенная кумулятивным потенциалом не обеспечивает правильной классификации, значение кумулятивного потенциала увеличивается или уменьшается на величину в зависимости от принадлежности образа классу или . Член входящий в уравнения (5.6.10) и (5.6.11), будет, естественно, отсутствовать, если образ классифицируется правильно.

Пусть, наконец, — значение кумулятивного потенциала, полученное после предъявления образов обучающей выборки . Кумулятивный потенциал возникающий после предъявления выборочного образа, определяется так:

Уравнения (5.6.12) — (5.6.14) определяют алгоритм итеративного вычисления кумулятивного потенциала. Этот алгоритм можно записать как

где коэффициенты при корректирующем члене определяются соотношениями

Если алгоритм дает правильную классификацию, то коэффициент Если же алгоритм классифицирует образ неправильно, то коэффициент или в зависимости

от принадлежности соответствующего образа классу или классу

Исключив из заданной обучающей последовательности те образы, при классификации которых значения кумулятивных потенциалов не подвергаются изменению, т. е. образы, для которых выполняются условия при или при можно сформировать последовательность . Элементами этой редуцированной обучающей последовательности являются выборочные образы, обеспечивающие исправление ошибок. В таком случае рекуррентные уравнения (5.6.13) и (5.6.14) дают следующее выражение для определения значения кумулятивного потенциала после предъявления обучающей выборки:

где

Коэффициент называют показателем класса, поскольку он указывает, к какому классу принадлежит выборочный образ . Из (5.6.17) и (5.6.18) следует, что кумулятивный потенциал, вызванный последовательностью выборочного образа, равен разности между полным потенциалом, вызванным исправляющими ошибки выборочными образами, принадлежащими классу и полным потенциалом, вызванным исправляющими ошибки выборочными образами, принадлежащими классу

Из описания алгоритма метода потенциальных функций очевидно, что кумулятивный потенциал выполняет роль решающей функции. Другими словами, в тех случаях, когда значение кумулятивного потенциала больше нуля, если принадлежит классу либо меньше нуля, если принадлежит классу значение кумулятивного потенциала не корректируется. С другой стороны, неправильная классификация образа в процессе обучения приводит к изменению потенциальной функции. Следовательно, алгоритм метода потенциальных функций представляет собой итеративную процедуру, обеспечивающую непосредственное определение решающей функции для разделения классов и таким образом, положив из уравнения (5.6.15) получаем

что полностью соответствует формулировке (5.6.3).

Способ вычисления коэффициента формулируется в компактном виде так:

где показатель определяется выражением (5.6.18) и функция имеет в данном частном случае вид или —1 в зависимости от того, больше нуля значение функции или оно меньше или равно нулю соответственно. Если решающая функция классифицирует образ правильно, то и в результате значение кумулятивного потенциала не изменяется. Нетрудно убедиться в том, что уравнение (5.6.20) покрывает все остальные условия классификации.

Исходя из (5.6.2), уравнение (5.6.19) можно представить в другой рекуррентной форме:

где коэффициенты зависят от числа итераций, выполненных в процессе обучения. Из этого уравнения, а также проведенного выше анализа заключаем, что кумулятивный потенциал также имеет вид

Объединив уравнения (5.6.19) и (5.6.21) и (5.6.1), получим формулу

которую можно использовать для итеративного вычисления коэффициентов разложения.