5.7. ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

В данной главе рассмотрено несколько важнейших концепций, лежащих в основе классификации образов при помощи детерминистских алгоритмов обучения. Использовав в качестве отправной точки стандартную градиентную методику, мы построили алгоритмы трех различных типов. Как отмечалось, эти алгоритмы, не исчерпывая все варианты, дают все-таки представление о спектре возможных вычислительных схем.

Проведен также сравнительный анализ основных свойств алгоритма перцептрона и алгоритма наименьшей среднеквадратичной ошибки.

Основная задача, возникающая при применении алгоритмов этих трех типов, заключается в выборе подходящего множества решающих функций. Эта задача решается, в сущности, методом проб и ошибок, поскольку единственным способом оценить качество выбранной системы решающих функций является прямая проверка. В тех случаях, когда рассматриваемые классы не содержат одинаковых образов, всегда можно отыскать множество решающих функций, которые обеспечат правильную классификацию всех образов, входящих в обучающее множество, хотя сами функции могут оказаться весьма сложными. При решении большинства практических задач следует, однако, учитывая экономические и вычислительные возможности, считать, что некоторое количество неверных классификаций допустимо. Если решено определенный процент ошибок считать допустимым, это необходимо учитывать при построении классификатора. Во многих случаях предписанный процент обеспечить невозможно, не нарушив ограничений по сложности, наложенных на классификатор. В таких случаях необходимо либо увеличить допустимый процент неправильных классификаций, либо повысить сложность классификатора, либо обратиться к иному методу классификации.

Завершает главу обсуждение классификации образов с помощью потенциальных функций, когда обучение классификатора обеспечивается не посредством итеративной коррекции весового вектора, а последовательным изменением значений кумулятивного потенциала. Приведены два метода построения потенциальных функций. В первом методе вид решающей функции заранее фиксирован, в то время как во втором допускается увеличение классификационной мощности решающих функций в процессе обучения. Первый метод не очень сильно отличается от процедуры обучения, осуществляемой с помощью алгоритма перцептрона, что становится очевидным из примеров, рассмотренных в п. 5.6.2. Из этих примеров следует также, что применение второго метода в общем случае приведет к вычислительным трудностям при работе со сравнительно большими множествами образов.

Следующая глава посвящена в основном статистическому подходу к классификации. Как мы увидим, понятие решающей функции сохраняет смысл и в статистическом случае, за исключением, естественно, того обстоятельства, что построение этих функций связано с использованием вероятностных, а не детерминистских концепций. Завершая эту главу, стоит все же заметить, что помимо приведенных здесь алгоритмов существуют

и другие подходы к решению систем линейных неравенств вида (5.1.1). Уже достаточно давно для решения линейных неравенств используются методы линейного программирования (Саймоннард [1966]). Распознаванию образов, однако, линейное программирование может предложить не много, поскольку более простые алгоритмы, типа приведенных в данной главе, несомненно обладают равными возможностями.

Библиография

Первые результаты, связанные с перцептронами, содержатся в нескольких работах Розенблатта [1957, 1960, 1965]. Первые результаты по линейным классификаторам имеются также в диссертации Хайлимана [1962] и статье Блока [1962]. Простое доказательство сходимости алгоритма перцептрона, приведенное в этой главе, принадлежит Новикову [1963]; другие варианты доказательства предложены Розенблаттом [1960], Блоком [1962], Джозефом [1960], Синглтоном [1962] и Чарпсом [1964].

Усилия, связанные с применением градиентного подхода к построению алгоритмов классификации образов, нашли отражение в отчете Блейдона [1967], статьях Девятерикова, Пропоя и Цыпкина [1967], Хо и Кашьяпа [1965], а также в ряде других работ. Алгоритм, приведенный в п. 5.3.3, предложен Хо и Кашьяпом [1965]. Доказательство сходимости алгоритма из § 5.4 можно найти в монографии Нильсона [1967].

Большая часть ранних работ по потенциальным функциям приходится на советскую литературу. Фундаментальный вклад в эту область сделан Айзерманом, Браверманом и Розопоэром [1964а, 1964б, 1965]. Некоторая часть материала, содержащегося в § 5.6, взята из работы Ту [1969а].

Задачи

(см. скан)

(см. скан)