Глава II. МЕТОД ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ

§ 1. Идея метода потенциальных функций

Имея в виду далее сформулировать в точных терминах то, что мы называем здесь методом потенциальных функций, изложим в этом параграфе наглядную интерпретацию основной идеи этого метода.

Начнем с рассмотрения того случая, когда имитируется процесс обучения разделению объектов на классы с учителем в детерминированном случае, т. е. в том случае, когда показываются примеры объектов и сообщается точная информация о том, к какому классу они принадлежат.

В § 2 главы 1 этой задаче была дана следующая геометрическая интерпретация: в некотором пространстве X каждому объекту соответствует точка; классам объектов в этом пространстве соответствуют непересекающиеся области; задача сводится к построению по показываемым точкам и по сообщаемой о них информации такой поверхности, которая разделяет эти области, т. е. функции, принимающей положительные значения на точках из одной области и отрицательные — на точках из второй области.

Введем в рассмотрение функцию двух переменных где х и у — точки из пространства Если зафиксировать точку у, положив ее то функция станет функцией точки пространства X и будет зависеть от того, как выбрана точка х. Примером подобной функции в физике является потенциал, определенный для любой точки пространства, но зависящий от того, где расположен источник потенциала. Имея в виду эту аналогию, назовем функцию потенциальной функцией. В этом параграфе, чтобы упростить наглядную интерпретацию задачи, будем представлять себе, что в пространстве X как-либо введено расстояние

между точками и что в качестве потенциальной функции выбрана некоторая функция, удовлетворяющая следующим условиям:

а) функция всюду положительна,

б) она убывает при удалении точки х от точки т. е., в частности, при фиксированном х достигает максимума при

Рис. 5.

Удобно представить себе, что К есть функция расстояния между точками х и у, т. е.

Например, можно положить где постоянная и т. д.

Выбранная функция при х определяет поверхность над точками пространства

Эта поверхность может быть уподоблена холму с вершиной над точкой (на рис. 5, а для примера показан случай, когда пространство X одномерное, а на рис. 5, б — когда оно двумерное).

Рассмотрим теперь следующую процедуру, которая сама по себе дает решение задачи лишь в простейших случаях и не пригодна для случаев сколь-либо сложных, но удобна для иллюстраций излагаемых далее идей.

Пусть надо научиться относить точки к одному из двух классов, которые условно назовем Предположим, что учителем показана точка и сообщено,

что она принадлежит к классу А. Примем точку за «источник потенциала», положив построим «холм» с вершиной в этой точке и запомним, что этот холм относится к точке из А. При предъявлении следующих точек из А или из В, каждый раз строятся подобные же «холмы» с вершинами в показанных точках и запомйнается, к какому классу, А или В, этот холм принадлежит.

Когда учитель закончит процесс обучения, сложим отдельно потенциалы, которые были построены над точками, принадлежащими классу А, и над точками, принадлежащими В, т. е. построим функции

Используя нашу геометрическую иллюстрацию, можно сказать, что холмы, построенные над показанными точками из А, «складываются» и образуют «гору» над областью, где расположены эти точки. Аналогично выстраивается «гора» над областью, где расположены точки В.

Таким образом, в результате процедуры оказались построенными две функции, которые можно назвать потенциалами образов А а В.

Теперь, после окончания процесса обучения, начинается «экзамен», т. е. предъявляются новые точки и требуется дать ответ на вопрос «к какому классу они относятся?». В методе потенциальных функций предлагается относить показанную при экзамене точку к А, если

и к В при обратном знаке неравенства.

Естественность такой процедуры оправдывается следующими интуитивными соображениями. Если области компактны в том пока лишь интуитивном смысле, который придавался этому термину в предыдущей главе, и если потенциальные функции достаточно быстро убывают с расстоянием, то можно ожидать, что значения будут большими для точек «своего»

образа, отмеченного индексом, и меньшими для другого образа.

Вводя функцию

замечаем, что она положительна над точками из и отрицательна над точками из В, т. е. разделяет знаком множества

Если надо разделить объекты не на два, а на большее число классов, то можно было бы организовывать дихотомию (см. гл. 1) или можно совершенно аналогично построить потенциалы для всех образов порознь и при появлении в процессе экзамена новой точки относить ее к тому образу, чей потенциал в этой точке наибольший.

Представим себе теперь, что учителя нет, и что поэтому нет информации о том, к какому классу относятся показываемые в ходе обучения точки, но что эти точки берутся из непересекающихся областей и т. д. В этом случае уже невозможно отдельно выстраивать потенциал областей множеств и т. д., но если по-прежнему предполагать, что эти области компактны (в интуитивном понимании этого термина, о котором выше шла речь), то можно по-прежнему «выпускать» потенциалы из всех показанных точек и построить их общий потенциал

Тогда те же основания позволяют предполагать, что эта функция будет представлять собой «горный ландшафт» с вершинами над областями и т. д. и «ущельями» между ними. Если теперь каким-либо методом найти «ущелья», т. е. поверхности минимума функции разделяющие вершины, то они будут отделять области, относящиеся к различным классам. Если подобную процедуру окажется возможным реализовать, то тем самым методом потенциальных функций будет решена задача обучения без учителя.

До сих пор мы старались лишь выяснить основную идею метода потенциальных функций, опираясь не на

точные определения, а на интуицию читателя. Нам предстоит далее перейти к точному изложению метода. В связи с этим подчеркнем еще раз, что буквальное применение процедуры в той форме, в какой она была выше описана, далеко не всегда привело бы к успеху, даже в случае обучения с учителем. Одна из причин того, что эта процедура недостаточна, связана с тем, что среди точек пространства X, показываемых учителем, области А, В и т. д. могут быть представлены неравномерно. Если, например, число точек из А заметно больше числа точек из В, то даже интуитивно ясно, что это может привести к неправильно построенной разделяющей поверхности. Алгоритм метода потенциальных функций, который предлагается далее в этой книге (гл. V), отличается от описанной выше «упрощенной процедуры» и, в частности, обходит это затруднение.

В предыдущих рассуждениях мы не накладывали каких-либо условий на то, каким образом выбираются точки, показываемые учителем. Между тем ясно, что если все или даже почти все показываемые точки принадлежат подобластям А а а В, то в результате будут разделены эти подобласти а не области Если далее в процессе экзамена будут предъявляться точки из не принадлежащие этим подобластям то они могут классифицироваться неверно. Чтобы устранить такую возможность, надо, переходя к точным постановкам задачи, ввести разумные условия на выбор показываемых учителем точек, например, на статистику их выбора (на «статистику показа»).

До сих пор, говоря о методе потенциальных функций, мы имели в виду лишь детерминистскую задачу: области мы считали разделенными, а ирформацию учителя о том, к какой области принадлежит показываемая точка — точной. Далее нас будет интересовать также и вероятностная постановка задачи, когда существуют и подлежат аппроксимации лишь условные вероятности — степени достоверности того, что точка принадлежит множеству А или В. Поэтому методу потенциальных функций должна быть придана более универсальная форма, позволяющая использовать метод при решении как детерминистских, так и вероятностных задач.