§ 8. Двухуровневая схема распознавания

Итак, исследование персептрона приводит к рассмотрению двухуровневой модели. На первом уровне осуществляется отображение исходного пространства описаний  в новое пространство . На втором уровне реализуется алгоритм обучения – построение разделяющей гиперплоскости в этом новом пространстве на основании обучающей последовательности.

Для того чтобы вторая часть могла решать свою задачу, необходимо, чтобы после отображения  множества векторов, соответствующие разным классам, были разделимы гиперплоскостью.

Возникает естественный вопрос, насколько универсальна идея персептрона, т. е. существует ли такое отображение, при котором любые два непересекающихся в исходном пространстве множества были бы разделимы в новом пространстве гиперплоскостью.

Оказывается, да – универсальна. При не слишком стеснительных ограничениях, например, считая исходное пространство бинарным, такое отображение действительно можно построить. В. А. Якубович показал даже, что преобразование

может быть осуществлено с помощью пороговых функций, т. е. буквально можно построить универсальный персептрон.

Беда лишь в том, что у универсального персептрона:

а) размерность спрямляющего пространства оказывается огромной,

б) почти для всех пар непересекающихся в исходном пространстве множеств отношение  в спрямляющем пространстве чрезмерно велико.

Как будет показано ниже, это приводит к катастрофически большой оценке необходимой длины обучающей последовательности.

Поэтому всякая реальная машина должна использовать специализированное отображение , при котором лишь относительно немногие пары непересекающихся в исходном пространстве множеств переходят в разделимые гиперплоскостью.

Выбор такого отображения тесно связан со спецификой данной задачи обучения и должен делаться в нашей схеме до начала обучения, т. е. опираться на априорные сведения о природе распознаваемых образов.

Например, при распознавании изображений в качестве функций  берутся такие функции, которые по набору чисел , характеризующих яркость точек рецепторного поля, строят новые описания в терминах кривых, пересечений, кривизны и т. п.

Совсем иные преобразования могут понадобиться при применении распознавания, скажем, в медицине или геологии. В каждой конкретной области приложений выбор отображения чрезвычайно сильно связан с конкретными особенностями этой области знаний.

В пределе наилучшее отображение будет таким, когда все точки, относящиеся к одному классу в исходном пространстве, перейдут в одну точку (а разные классы, естественно, в разные точки). При таком отображении задача обучения совсем вырождается, так как для обучения достаточно показать по одному представителю каждого класса. Построение такого пространства является недосягаемой мечтой всякого, кто строит отображения по априорным данным.

На практике же оказывается, что построение даже «хорошего» спрямляющего пространства представляет собой чрезвычайно сложную задачу. Поэтому часто в построенном пространстве целесообразно искать разделение не с помощью гиперплоскостей, а с помощью более сложных разделяющих поверхностей. Строго говоря, такая схема уже не является персептронной. Однако это обстоятельство никак не меняет основного принципа построения машины, обучающейся распознаванию образов: машина реализует двухэтапную систему обучения, где на первом этапе по априорным данным задается класс возможных решающих правил, а на втором этапе из заданного множества решающих правил выбирается нужное. С этой точки зрения персептрон Розенблатта реализует некоторые кусочно-линейные решающие правила: задание отображения определяет возможные для данного персептрона кусочно-линейные решающие правила, а алгоритм настройки весов позволяет выбрать в заданном множестве решающих правил нужное.

Итак, задача обучения машин распознаванию образов приводит к двухэтапной схеме распознавания. В эту схему укладываются отнюдь не только персептроноподобные распознающие машины – во всякой программе распознавания априори заложен некоторый запас решающих правил, выбранный из тех или иных соображений (например, решающие правила, реализуемые булевыми функциями определенного вида, пороговыми функциями, функциями, инвариантными относительно определенных преобразований, и т. д.). И только из этого запаса с помощью обучающей последовательности выбирается нужное правило.

В дальнейших главах книги мы ограничимся исследованием второго этапа решения задачи. Именно эта часть задачи была предметом исследования большинства (если не всех) теоретических работ по распознаванию, не привязанных к конкретным приложениям.

Проблемы, возникающие здесь, тесно переплетаются с задачами математической статистики. С точки зрения математической статистики не очень существенно, какова природа решающих правил. Как будет показано, основную роль здесь играют некоторые общие статистические характеристики класса решающих правил в целом.