5.6.2. Выбор потенциальных функций

Общий вид потенциальной функции определен формулой (5.6.1). Хотя при обсуждении математических свойств алгоритмов метода потенциальных функций часто используется разложение в бесконечный ряд, очевидно, что с практической точки зрения это бесполезно. Обычно при реальном построении потенциальных функций пользуются двумя основными методами.

Первый заключается в применении усеченных рядов

где — ортонормированные функции на множестве образов. Это допущение не вызывает практических затруднений, так как ортонормированные функции легко строятся, как было продемонстрировано в § 2.7. Коэффициенты входящие в общее выражение потенциальной функции (5.6.1), связаны с ограниченностью потенциальных функций и для того типа функций, который будет рассматриваться, могут быть опущены. Функции, получаемые согласно (5.6.24), называются потенциальными функциями типа 1.

Рис. 5.4. Примеры одномерных потенциальных функций: а — график, соответствующий уравнению (5.6.25); б - график, соответствующий уравнению (5.6.26); в - график, соответствующий уравнению (5.6.27). Во всех трех случаях .

Второй метод использует некую симметрическую функцию двух переменных и в качестве потенциальной функции. Условие симметричности формулируется так, чтобы полученные в результате потенциальные функции соответствовали их общему определению (5.6.1). Из этого соотношения, в сущности, следует, что Кроме того, требуется, чтобы выбранные функции допускали разложение в бесконечный ряд. Это условие также соответствует общему определению потенциальной функции (5.6.1). Функции, удовлетворяющие этим двум условиям, будем называть потенциальными функциями

типа итметим, что наиоолее употреоительны такие потенциальные функции типа 2:

где а — положительная константа, а — норма вектора Следует отметить, что эти функции обратно пропорциональны квадрату расстояния которое служит, в частности, характеристикой силы в потенциальном поле тяготения. Функции этого вида представлены на рис. 5.4 для случая одномерных образов и на рис. 5.5 для случая двумерных образов.

Пример 1. Рассмотрим применение метода потенциальных функций к образам рис. 5.6, причем воспользуемся потенциальными функциями типа 1. Прежде всего следует выбрать подходящее множество ортонормированных функций . Удобно, в частности, использовать полиномиальные функции рассмотренные в § 2.7, так как они ортонормированны в интервале . В одномерном случае эти функции определяются формулой

где выражение при функции является ортонормирующим множителем. Выпишем несколько первых членов функции :

Для наглядности воспользуемся ортогональными функциями вместо их ортонормированных аналогов, более сложных с точки зрения вычислений. В § 2.7 было показано, что использование ортогональных функций часто позволяет получить эквивалентные результаты для ортонормированных функций. Выбрав в качестве первого приближения и следуя изложенному в § 2.7 методу формирования ортогональных функций

(кликните для просмотра скана)

многих переменных из множества ортогональных функций одной переменной, получаем

Воспользовавшись соотношением (5.6.24), можно сформировать потенциальную функцию

где суть компоненты вектора . В класс входя образы и в класс — образы . Применение алгоритма обучения по методу потенциальных функций [уравнение (5.6.15)] дает следующую последовательность шагов.

Рис. 5.6. Образы, использованные для иллюстрации принципа действия алгоритма метода потенциальных функции.

Пусть - первый предъявленный образ. Поскольку он принадлежит классу значение кумулятивного потенциала определяется как

Образ принадлежит классу Вычислим

Так как

Следующий предъявленный образ принадлежит классу , поскольку

т. е. меньше нуля, можно считать, что

Четвертый предъявленный образ принадлежит классу , поскольку

т.е. больше нуля, следует провести коррекцию:

Очередной цикл итерации по всем образам дает

Так как в данном цикле итерации при просмотре всех образов не совершено ни одной ошибки, это означает, что алгоритм сошелся и выдал решающую функцию

Разделяющая граница, заданная этой функцией, приведена на рис. 5.6.

Пример 2. Проиллюстрируем применение потенциальных функций типа 2 на примере образов рис. 5.7, а. Воспользуемся в данном примере экспоненциальной функцией (5.6.25) при

(кликните для просмотра скана)

, что приводит в рассматриваемом двумерном случае к

В класс входят образы и в класс — образы . Отметим, что эти классы линейно не разделимы. Применение к этим образам алгоритма потенциальных функций сводится к следующим шагам.

Пусть — образ обучающей выборки, предъявляемый первым. Поскольку он принадлежит классу имеем

Элемент обучающей выборки принадлежит классу Вычислим :

Поэтому имеем

Теперь предъявим принадлежащий классу и вычислим . Получим

Поскольку значение кумулятивного потенциала должно быть меньше нуля, производится следующая коррекция:

Образ , предъявляемый следующим, принадлежит классу . Подстановка характеристик дает

Так как значение должно быть меньше нуля, кумулятивный потенциал подвергается коррекции:

Легко убедиться в том, что эта функция не обеспечивает безошибочной классификации всех образов, входящих в обучающую

выборку. Следовательно, необходим еще один итерационный цикл:

(см. скан)

Поскольку получен цикл итерации, в котором ошибки отсутствовали, это означает, что алгоритм сошелся и выдал решающую функцию

Разделяющая граница, определяемая уравнением показана на рис. 5.7, а. График потенциальной функции для приведен на рис. 5.7, б.

Полезно сопоставить два рассмотренных примера. Из первого примера очевидно, что при выборе потенциальной функции типа 1 полученный алгоритм весьма напоминает алгоритм перцептрона в том отношении, что заранее предопределен вид решающей функции. В нервом примере была выбрана квадратичная решающая функция. Ее коэффициенты определялись в процессе реализации обучающей процедуры.

Если выбирается потенциальная функция типа 2, то из второго примера следует, что вид решающей функции зависит от числа коррекций кумулятивного потенциала. Причиной этого является, естественно, то обстоятельство, что при проведении каждой коррекции в связи с появлением нового образа в выражение потенциальной функции добавляется очередной член. Вполне возможно, что полученная в результате решающая функция будет содержать число членов, равное числу разных образов, присутствующих в обучающем множестве, как это имело место в примере 2. В принципе при больших обучающих множествах выбор потенциальных функций типа 2 приводит к трудностям, связанным с памятью ЭВМ, так как в этих случаях необходимо запоминать значительное количество членов. Естественно, при этом не следует пренебрегать тем обстоятельством, что введение в процессе обучения новых членов существенно увеличивает классификационную мощность метода.