ОТ АВТОРОВ

Метод потенциальных функций, которому посвящена эта книга, был первоначально предложен для решения задач обучения машин распознаванию образов. Метод был разработан применительно к ставшей теперь обычной геометрической постановке задачи, когда обучение сводится к построению в некотором пространстве поверхности, разделяющей два множества, соответствующие двум образам. Вскоре выяснилось, что рекуррентные процедуры метода потенциальных функций тесно связаны с принципом действия персептрона, и дальнейшая разработка этого метода позволила обобщить персептронные схемы.

Задача распознавания образов, помимо детерминистской, имеет и вероятностную постановку, которая связана не с построением разделяющей поверхности, а с восстановлением некоторой функции, характеризующей вероятность принадлежности объекта тому или иному образу. Для решения этой задачи была предложена рекуррентная процедура, которая по существу дела совершенно аналогична той процедуре, которая использовалась для решения задачи распознавания образов в обычной, невероятностной постановке. Это, естественно, привело к мысли, что аналогичные процедуры могут быть успешно использованы для восстановления функций большого числа переменных, не обязательно связанных с задачей распознавания образов. Так постепенно был выделен специфический класс рекуррентных процедур, приспособленный для решения достаточно широкого класса аппроксимационных задач. Эти процедуры оказались применимы также и в задачах обучения «без учителя» (к задачам автоматической классификации).

Рассмотрение этого класса процедур привело к постановке нескольких математических задач.

Применение рекуррентной процедуры оправдано лишь в том случае, если она сходится к решению рассматриваемой задачи. Это повлекло за собой разработку методов доказательства сходимости, учитывающих специфику процедур рассматриваемого класса.

С другой стороны, особенность процедур метода потенциальных функций состоит в том, что при их применении к конкретным задачам приходится каждый раз выбирать вид некоторой функции, содержащейся в этой процедуре (такая функция называется «потенциальной»), либо выбирать систему функций, по которой могут раскладываться в ряды как потенциальная функция, так и выстраиваемые процедурой последовательные аппроксимации. Для того чтобы выбрать вид потенциальной функции (или системы функций, по которой ведется разложение), устанавливаются некоторые математические факты, позволяющие осмысленно сделать этот выбор.

Дальнейшее развитие метода потенциальных функций было связано с идеей о том, что алгоритмы этого метода могут быть поняты как процедуры Роббинса-Монро метода стохастической аппроксимации. Оказалось, что процедуры метода потенциальных функций выделяют класс процедур Роббинса-Монро, которые являются в стохастическом смысле градиентными, минимизирующими некоторые функционалы. Использование этого обстоятельства привело к установлению теорем о сходимости процедуры в смысле минимизации соответствующего функционала.

Методу потенциальных функций и различным его приложениям посвящена эта книга.

В книге восемь глав. Первые четыре главы посвящены описанию метода, и, в частности, связанным с ним математическим задачам, а последующие четыре главы — конкретным аппроксимационным задачам, которые решаются этим методом. Знание математического аппарата, которое предполагается у читателя, в разных главах различно.

Книга написана как бы в расчете «на два математических уровня» читателей. Глава IV, посвященная сходимости процедур метода, последний параграф главы III, посвященный оценке сложности функций, заданных на симметричных пространствах, а также доказательства некоторых теорем последующих глав (в особенности гл. VIII) рассчитаны на хорошо подготовленного читателя. Весь остальной текст книги, наоборот, рассчитан на читателя, имеющего математическую подготовку, обычную для современного инженера, работающего в области автоматики или технической кибернетики. Такому читателю авторы рекомендуют, по крайней мере при первом чтении книги, полностью опустить последний параграф главы III, в главе IV — доказательства теорем, а при чтении глав V—VIII «принимать на веру» теоремы в тех случаях, когда разбор их доказательства вызовет затруднения.

Первая глава написана предельно элементарно. Цель ее — пояснить читателю, впервые знакомящемуся с задачами обучения машин распознаванию образов, исходные идеи этих задач и пояснить цели и общую идею развиваемых методов.

Необходимые по тексту ссылки на литературу вынесены в сноски. Библиографический список, помещенный в конце книги, очень короток — он содержит лишь перечень публикаций, непосредственно связанных с методом потенциальных функций, а также литературу, часто цитируемую в книге.