4.4.1. Определения и обозначения
Понятие последовательности наблюдений было дано выше. Предполагается, что каждый член последовательности принадлежит точно одному из 
классов. Существенное отличие от некоторых из наших предыдущих рассмотрений состоит в том, что считается, что никогда два класса не могут породить одинаковое наблюдение. Ранее мы предполагали только, что каждый класс характеризуется вероятностью, связанной с каждой точкой пространства описаний, а теперь требуем, чтобы каждая точка 
относилась к единственному классу. Вместо правила обучения для последовательности 
мы построим правило для
где 
— это 
-мерный вектор, полученный из 
добавлением 1 в качестве 
компоненты. Будем говорить, что 
принадлежит классу 
если 
— описание объекта из класса 
Очевидно, что правило для классификации 
будет также классифицировать и 
Классы называются отделимыми, если существует такое множество функций 
что
тогда и только тогда, когда 
принадлежит классу 
Классы называются линейно отделимыми, если эти функции линейны:
Отметим, что это по существу те же определения, что и наши прежние определения отделимости и линейной отделимости, лишь с соответствующими изменениями в обозначениях. Если верно (71), то правило классификации 
можно задать 
-матрицей, строки которой представляют собой векторы 
Тогда (71) удобно записать в виде скалярного произведения
Вообще говоря, уравнениям (70) и (71) удовлетворяет бесконечно много матриц 
. В этом разделе мы будем предполагать, что некоторая матрица 
существует (если явно не оговорено противное). Наша задача — показать, что определенные правила обучения приводят к удовлетворительному правилу классификации 
Случай 
особенно интересен по трем причинам: (1) он допускает подробный анализ, (2) часто встречается на практике и (3) это частный случай, к которому можно свести общий случай при 
Предположим, что по крайней мере одно множество линейных функций 
удовлетворяет уравнениям (70) и (71). Тогда разделяющая функция
существует и равна
Поэтому неравенство
справедливо тогда и только тогда, когда 
принадлежит классу 1. Обозначим через и множества векторов, принадлежащих соответственно классам 1 и 2, и пусть
Неравенство
Говорят, что функция 
линейно содержит некоторое множество 
если справедливо (77). Из способа построения 
следует, что если можно найти функцию, линейно содержащую 
то можно найти функцию, удовлетворяющую неравенству (75) и, значит, линейно отделяющую 
