§ 6. Математическая постановка задачи обучения
Такая постановка задачи на
формальном языке имеет простое выражение. В среде, которая характеризуется
распределением вероятностей 
, случайно и независимо появляются
ситуации 
.
Существует «учитель», который классифицирует их, т. е. относит к одному из 
классов (для простоты
). Пусть он
делает это согласно условной вероятности 
, где 
означает, что вектор отнесен к первому классу, 
– ко второму. Ни
характеристика среды , ни правило классификации нам не известны.
Однако известно, что обе функции существуют, т. е. существует совместное
распределение вероятностей
.
Пусть теперь определено множество
решающих
правил 
. В
этом множестве каждое правило определяется заданием параметра 
(иногда удобно
понимать параметр как
вектор). Все правила – характеристические функции, т. е.
могут принимать только одно из двух значений: нуль или единица (наполним: нуль
означает, что вектор отнесен к первому классу, а единица – ко
второму). Для каждой функции может быть определено качество 
как вероятность
различных классификаций ситуаций учителем (с помощью правила и с помощью
характеристической функции ). На формальном языке качество функции определяется так:
а)
в случае, когда пространство 
дискретно и состоит из точек 
,
, (2.1')
где
–
вероятность возникновения ситуации 
;
б)
в случае, когда в пространстве существует плотность распределения ,
; (2.1")
в)
в общем случае можно считать, что в пространстве 
задана вероятностная мера 
. При этом выражается так:
. (2.1''')
Среди всех функций есть такая 
, которая минимизирует
вероятность ошибок. Эту-то наилучшую в классе функцию (или близкую к yей, т. е. функцию с качеством,
отличным от 
не
более чем на малую величину 
) и следует найти. Однако, поскольку
совместное распределение вероятностей неизвестно, поиск ведется с
использованием обучающей последовательности
,
т.
е. случайной и независимой выборки примеров фиксированной длины 
. Как уже указывалось,
нельзя найти алгоритм, который по конечной выборке безусловно гарантировал бы
успех поиска. Успех можно гарантировать лишь с некоторой вероятностью 
.
Таким образом, задача заключается
в том, чтобы для любой функции среди характеристических функций найти по обучающей
последовательности фиксированной длины такую функцию 
, о которой с надежностью, не
меньшей ,
можно было бы утверждать, что ее качество отличается от качества лучшей функции
на
величину, не превышающую .
Для персептрона в соответствии с
(2.1) качество решающего правила определяется так:
.
Задача заключается в том, чтобы
по обучающей последовательности найти решающее правило, которое доставляет либо
минимум 
,
либо значение, близкое к минимальному.
Такая задача не является новой в
математике. Она известна в более общей постановке: требуется найти минимум по функционала
, (2.2)
если
неизвестна функция распределения 
, но зато дана случайная и независимая
выборка 
.
Эта задача получила название задачи о минимизации величины среднего риска. Она
имеет простую интерпретацию: функция 
для всякого фиксированного значения
параметра определяет
величину потерь при появлении сигнала 
. Средняя по величина потерь для
фиксированного значения параметра определяется согласно (2.2).
Задача заключается в том, чтобы
выяснить, при каких значениях параметра средняя величина потерь (чаще говорят:
величина среднего риска) будет минимальной.
Задача обучения распознаванию
образов есть частный случай задачи о минимизации среднего риска. Особенность ее
заключается в том, что функция (эту функцию двух переменных часто
называют функцией потерь) не обладает таким произволом, как в общей постановке
задачи и минимизации риска. На функцию наложены ограничения:
вектор задается 
координатами: координатой 
и координатами 
;
Функция потерь задана в виде 
, где - характеристическая
функция множеств.
