5.3. ПОСТРОЕНИЕ АЛГОРИТМОВ КЛАССИФИКАЦИИ ОБРАЗОВ

В § 5.2 отмечалось, что первые алгоритмы перцептронов были построены на основе применения метода адаптации посредством подкрепления и наказания. В данном параграфе воспользуемся более общим подходом к задаче построения алгоритмов классификации образов. Покажем, что алгоритм перцептрона является просто одним из представителей семейства итеративных процедур, которые можно легко строить с помощью хорошо известного метода градиента.

5.3.1. Метод градиента

В принципе градиентные схемы являются средством отыскания минимума функции. Напомним читателю, что в курсе векторного анализа градиент функции по вектору определяется как

Из этого соотношения следует, что градиент скалярной функции векторного аргумента есть вектор и что каждая компонента градиента характеризует скорость изменения этой функции в направлении данной компоненты.

Одно из важнейших свойств вектора градиента заключается в том, что его направление указывает направление наискорейшего роста функции при увеличении ее аргументов. Отрицательный градиент в свою очередь указывает направление наискорейшего уменьшения функции .

Рис. 5.3. (см. скан) Геометрическая интерпретация алгоритма градиентного спуска.

Используя это свойство, можно строить итеративные схемы отыскания минимума функции. Ниже будем рассматривать функции, имеющие только один минимум. Если функция задана так, что она достигает минимального значения при выполнении условия где есть строка матрицы X размера системы неравенств (5.1.1), то отыскание минимума функции для всех эквивалентно решению этой системы линейных неравенств. Рассмотрим, например, функцию критерия

где — абсолютное значение . Очевидно, что минимум этой функции есть и достигается он при Мы, естественно, опускаем тривиальный случай

Используемый нами ниже метод состоит в увеличении значений в направлении отрицательного градиента функции с тем, чтобы найти минимум этой функции. Другими словами, если представляет значение вектора на шаге, то в общем виде алгоритм градиентного спуска можно записать как

где представляет новое значение вектора , а величина определяет размер коррекции. Отметим, что при т. е. при достижении минимума, значение вектора никак не корректируется.

Геометрическую интерпретацию уравнения (5.3.3) дает рис. 5.3. В этом простом примере при отрицательности градиента скалярной функции на шаге значение увеличивается в направлении минимума функции Из рисунка видно, что эта схема спуска по градиенту приводит в конечном счете к положительному значению , следовательно, к минимальному значению функции Заметим также, что на рис. 5.3 представлен график функции (5.3.2) при . Очевидно, что число кривых соответствует числу образов в задаче.

Если неравенства совместны и функция задана надлежащим образом, то алгоритм (5.3.3) обеспечит получение решения. В противном случае он зациклится и будет работать в таком режиме до тех пор, пока процедуру не остановят. В следующем пункте рассматривается несколько частных алгоритмов, которые получаются подстановкой ряда различных функций критерия в уравнение (5.3.3), определяющее метод спуска в общем виде.