§ 4.4. Требуемый выход и среднеквадратичная ошибка решения
При распознавании образов классификатор должен быть построен по объектам, находящимся вблизи разделяющей границы. Объекты же, расположенные вдалеке от нее, менее важны для построения классификатора.
Однако если задать требуемый выход 
и попытаться минимизировать среднеквадратичную ошибку (4.44), то большие значения 
будут вносить больший вклад в среднеквадратичную ошибку. Это давно признается недостатком такого подхода в задачах распознавания образов. В этом параграфе рассмотрена модификация метода, при использовании которого уменьшается влияние объектов, расположенных далеко от разделяющей границы.
4.4.1. Требуемый выход и методы поиска.
Данная модификация заключается в том, чтобы использовать вместо критерия (4.45) следующие критерии:
переменная, на которую наложено ограничение
где 
равно +1 или —1 в зависимости от знака 
. В критерии (4.70) в качестве 
выбрана величина 
При этом только в случае 
производится вклад 
в среднеквадратичную ошибку 
Критерий (4.71) оценивает количество объектов, для которых выполняется условие 
. В третьем критерии, наряду с вектором 
подстраивают значения 
которые должны быть положительными.
Эти критерии работают хорошо, но из-за наличия в них нелинейных функций, таких как 
трудно получить явное значение оптимальных коэффициентов 
Поэтому для нахождения оптимальных коэффициентов 
необходимо использовать поисковые методы, иапример, градиентный метод.
Градиентный метод, минимизирующий некоторый критерий, определяется следующим образом:
где I — номер итеративного шага, 
— положительная константа. И в этом случае вследствие нелинейности функций, входящих в 
нельзя вычислить производную 
Однако, по аналогии с линейным случаем (4.48), для рассмотренных критериев были предложены следующие рекуррентные выражения 
Кэшьян, 1906].
где 
— вектор с компонентами, равными абсолютным значениям соответствующих компонент вектора 
— вектор с компонентами, равными 
или —1 в зависимости от знака соответствующих компонент вектора 
— вектор штрафа с компонентами, являющимися функциями соответствующих компонент вектора 
Другой подход состоит в том, что задача построения классификатора рассматривается как задача нахождения допустимого решения в форме (4.43) задачи линейного программирования с искусственно введенным вектором цен. Для понимания этого подхода необходимо знакомство читателя с литературой по линейному программированию.
