ОТ РЕДАКТОРОВ РУССКОГО ПЕРЕВОДА

Проблема обучения машин распознаванию образов в течение последних лет привлекает внимание все более широкого круга специалистов. Ее значение далеко перешагнуло рамки задачи распознавания образов в узком смысле (чтение букв, распознавание речи и др.) и все шире проникает во все области управления, исследования операций, связи, радиолокации и многие другие.

Не будет преувеличением сказать, что эта проблема с методологической, научной и практической точек зрения стала одной из важнейших в широкой области научных дисциплин, объединяемых обычно понятием «кибернетика». Естественно поэтому, что число статей, посвященных этой проблеме, публикуемых в самых различных изданиях, в том числе и в труднодоступных, столь велико, что ознакомление с ними становится все более затруднительным. В то же время число книг, посвященных этой проблеме, исчисляется единицами.

Предлагаемый перевод небольшой книги профессора К. С. Фу (университет Пэрдью, Лафайет, штат Индиана), посвященный применению последовательных методов теории статистических решений и теории оценок к задачам распознавания образов и обучения машин, в некоторой мере восполняет этот пробел.

Характерная особенность настоящей книги состоит в том, что ее главы в значительной мере не зависимы друг от друга. Каждая из них освещает отдельное направление в разработке проблемы. Это позволяет читателю составить представление о результатах, полученных к настоящему времени в различных подходах к решению проблемы обучения машин распознаванию образов.

Естественно также, что на содержание книги, в той или иной мере охватывающей основные направления разработки проблемы, интенсивно изучаемой многими учеными, несомненно сказались интересы и взгляды автора книги проф. К. С. Фу, известного своими работами в данной области. Значительное место в книге занимает изложение работ самого автора и его сотрудников и учеников.

Приводимые в качестве примеров численные результаты, полученные моделированием на ЭЦМ, хотя и не всегда столь полны, как бы того хотелось, дают интересную иллюстрацию рассматриваемых методов. Наличие математических приложений и использование относительно простого математического аппарата делают книгу доступной лицам, не обладающим специальной математической подготовкой, выходящей за рамки курсов математики технических вузов.

Книга, несомненно, окажется полезной как тем, кто приступает к изучению данного круга вопросов, так и специалистам, активно участвующим в разработке данной проблемы.

Л. А. Меерович Я. 3. Цыпкин

ПРЕДИСЛОВИЕ

В течение последнего десятилетия наблюдался значительный рост интереса к задачам распознавания образов и обучения машин. Этот интерес вызвал возрастающую потребность в методах и способах построения систем распознавания образов и обучающихся систем. Было предложено много различных подходов. Одним из наиболее обещающих методов решения задач распознавания и обучения является статистическая теория решений и оценок. Настоящая монография посвящена рассмотрению задач распознавания образов и обучения машин с позиций последовательных методов, применяемых в теории статистических решений и оценок.

Представленный в книге материал основан главным образом на исследованиях, выполненных автором и его сотрудниками докторами Кардилло, Чэном, Чином и Николичем в течение нескольких последних лет. При изложении материала особое внимание уделялось систематической разработке основных теоретических положений и вычислительных алгоритмов. Хотя для проверки изложенных методов было выполнено много различных экспериментов, в книге для целей иллюстрации приводятся только опыты по распознаванию английских букв. Монография предназначена для применения как в качестве справочника для специалистов в области системотехники и ЭЦМ, так и в качестве учебного пособия по курсам распознавания образов и адаптивных и обучающихся систем. Изложение ведется кратко. Книга написана с расчетом, что читатель знаком с курсом математического анализа и вводным курсом теории вероятностей и математической статистики.

Предмет книги можно разделить на две основные части: (1) распознавание образов и (2) обучение машин.

Грубо говоря, в книге рассматриваются шесть методов, им посвящены главы с 2 по 7. После краткого обзора некоторых важных методов распознавания образов, данного в главе 1, в главе 2 рассматриваются два метода отбора и упорядочения признаков на основе теоретико-информационного подхода и разложения Карунена — Лоэва. В дополнение к применению последовательного критерия отношения вероятностей Вальда и обобщенного последовательного критерия отношения вероятностей к задачам классификации образов рассмотрены еще три метода, а именно модифицированный последовательный критерий отношения вероятностей с изменяющимися во времени останавливающими границами (глава 3), обратная процедура, использующая динамическое программирование (глава 4), и непараметрическая процедура определения последовательных рангов (глава 5). Глава 4 посвящена применению динамического программирования как для упорядочения признаков, так и для классификации образов. В приложении А дано краткое введение в последовательный анализ.

В качестве методов обучения систем последовательного распознавания описаны байесовы методы оценки (глава 6) и процедура стохастической аппроксимации (глава 7). Рассмотрены схемы обучения как с поощрением, так и без поощрения. Показана связь между байесовыми методами оценки и обобщенной процедурой стохастической аппроксимации. Предложены также методы обучения при медленно изменяющихся параметрах. Метод потенциальных функций ввиду его тесной связи с процедурой стохастической аппроксимации кратко рассмотрен в приложении G.

Некоторые материалы этой монографии излагались в нескольких кратких курсах, прочитанных в университете Пэрдью, Вашингтонском университете и Калифорнийском университете. Большая часть материала прочитана в систематическом лекционном и семинарском курсах в университете Пэрдью и Калифорнийском университете в Беркли.

Для систематического курса по распознаванию образов и обучению машин должны были бы излагаться и многие другие методы. К сожалению, ввиду ограниченного объема книги эти обещающие методы не могли быть

подробно здесь описаны. Вместо этого в последнем параграфе каждой главы даны очень краткие замечания относительно других методов и интересных проблем. Несомненно, имеется еще ряд работ, не упомянутых даже в этих замечаниях, вследствие недосмотра или неведения автора.

Автору приятно отметить поддержку докторов Ван Валькенбурга, Заде, Джоунса, Хэйта, Хэнкока и Лемана. Он считает себя обязанным выразить благодарность доктору Ричарду Беллману, который прочитал рукопись и внес много ценных предложений. Автор также обязан своим коллегам и студентам университета Пэрдью и Калифорнийского университета, которые посредством многих полезных дискуссий во время службы, занятий, в перерывах и поздними вечерами участвовали в подготовке рукописи. Отдельные предложения и списки ошибок были сделаны докторами Николичем и Чином.

Автору и его сотрудникам в Пэрдью посчастливилось иметь твердую поддержку Национального научного фонда в их работах по распознаванию образов и обучению машин. Основная часть рукописи была подготовлена в 1967 г. во время творческого отпуска автора на кафедре электротехники и вычислительной техники Калифорнийского университета. Обстановка и атмосфера в университете определенно способствовали улучшению и скорейшему завершению рукописи. Кроме того, автор хотел бы поблагодарить миссис Патрицию Гресс за квалифицированное и тщательное печатание рукописи.

К. С. Фу