2.1.3. Функции потерь.
Ограничимся случаем двух классов.
Пусть у определено, как в (2.1); 
— решение, принятое в точке X при использовании решающего правила, построенного с помощью алгоритма А на данной выборке объема 
; 
— функция потерь, такая, что 
при и 
Величину
где математическое ожидание берется по всем возможным парам (X, у) при выбранной модели данных, естественно назвать функцией средних потерь алгоритма А при обучающей выборке 
. Если 
, то 
— это средняя ошибка классификации правила, построенного с помощью А на выборка 
. Взяв математическое ожидание по всем обучающим выборкам объема я, получаем
функцию ожидаемых потерь алгоритма А на обучающей выборке объема 
.
Поскольку теоретические распределения не всегда известны, в качестве оценки 
рассматривают
и называют его эмпирической функцией средних потерь алгоритма А на выборке 
