§ 2. Задача обучения распознаванию образов

Задача обучения распознаванию образов была сформулирована в конце 50-х годов.

Содержательная ее постановка состоит в следующем. Некто (часто говорят — учитель) наблюдает возникающие ситуации и определяет, к какому из классов каждая из них относится. Требуется построить такое устройство, которое после наблюдения за работой учителя проводило бы классификацию примерно так же, как и учитель.

Такая постановка на формальном языке имеет простое выражение. В некоторой среде, которая характеризуется плотностью распределения вероятностей случайно и независимо появляются ситуации х. Учитель относит эти ситуации к одному из классов. (В дальнейшем для простоты будем считать, что Такое предположение не снижает общности постановки, так как последовательным разделением ситуаций на два класса можно получить разделение и на классов.) Предположим, что учитель осуществляет эту классификацию с помощью функции условного распределения вероятностей где означает, что учитель отнес ситуацию х к первому классу, а означает, что ситуация х отнесена ко второму классу).

Ни свойства среды ни решающее правило не известны. Однако известно, что обе функции

существуют. Пусть теперь задано параметрическое множество функциональных зависимостей (класс решающих правил). Все функции класса характеристические, т. е. они могут принимать только два значения — нуль и единица.

Требуется, наблюдая пар

(ситуация — х, реакция на нее учителя — ), выбрать в классе характеристических функций такую функцию, для которой вероятность классификации, отличной от классификации учителя, была бы минимальной. Иначе говоря, достигался бы минимум функционала

Функционал будем записывать в виде

а функцию будем называть совместной плотностью пар заданной на пространстве

Задача обучения распознаванию образов свелась, таким образом, к задаче минимизации среднего риска по эмпирическим данным. Особенность ее заключается в том, что класс функций не обладает таким произволом, как в общей постановке. На него наложены ограничения:

1) Вектор состоит из координаты: координаты со, которая может принимать только два значения (нуль и единица), и координат образующих вектор х.

2) Класс функций задан в виде

где принимают также только два значения — нуль и единица.

Таким образом, в задаче обучения распознаванию образов значение функции потерь равно либо нулю, либо единице. Эта особенность задачи минимизации риска и определяет специфику обучения распознаванию образов.