§ 2. Однопараметрическое семейство разделяющих гиперплоскостей

Введем еще одно определение.

Определение. Будем говорить, что пара  определяет нормально ориентированную разделяющую гиперплоскость, если наряду с неравенством (14.2') выполняется условие

.

Нетрудно видеть, что если два конечных множества векторов  и  разделимы гиперплоскостью, то существует нормально ориентированная гиперплоскость, которая отделяет либо множество  от множества , либо множество  от .

Рассмотрим систему неравенств

 ,

 .        (14.3)

Будем считать величину  допустимой, если система (14.3) имеет хотя бы одно решение. Очевидно, что если  – допустимое значение параметра, то и любое значение  также допустимо.

Каждому значению , удовлетворяющему (14.3), поставим в соответствие гиперплоскость

.

Очевидно, что при  эта гиперплоскость нормально ориентирована и отделяет  от . Обратно, если множества  и  разделимы нормально ориентированной гиперплоскостью, то существует допустимое значение .

Действительно, пусть  – направляющий вектор этой гиперплоскости; при этом  и . Тогда

 и

удовлетворяют (14.3), причем .

Определение. Назовем минимальный по модулю вектор , удовлетворяющий неравенствам (14.3) при заданном допустимом , обобщенном портретом множества  относительно  для данного значения .

Поясним это понятие.

Рассмотрим случай, когда класс  пуст. Тогда минимальный по модулю вектор, удовлетворяющий неравенствам

,                 (14.4)

коллинеарен единичному вектору , доставляющему

.

Иными словами, вектор задает среднее в минимаксном смысле направление векторов класса  (рис. 24). Это обстоятельство оправдывает название «обобщенный портрет».

Рис. 24.

Приведенное определение обобщенного портрета является естественным обобщением этого понятия на случай, когда в обучающей выборке представлены оба класса.

Теорема 14.2. При каждом допустимом значении  обобщенный портрет существует и единствен.

Доказательство. Поскольку значение  допустимо, найдется вектор , удовлетворяющий (14.3). Рассмотрим множество векторов , удовлетворяющих наряду с (14.3) условию . Это множество не пусто, ограничено, замкнуто и выпукло. Поэтому сильно выпуклая функция  имеет на нем единственный минимум . Очевидно также, что вне шара  все векторы имеют модуль больше . Отсюда следует доказываемое утверждение.

Таким образом, обобщенные портреты, имеющие различные , образуют однопараметрическое семейство, которое мы условимся обозначать .

При  ему соответствует семейство разделяющих гиперплоскостей

.                  (14.5)

Теорема 14.3. Если оптимальная разделяющая гиперплоскость нормально ориентирована, то она принадлежит однопараметрическому семейству (14.5).

Доказательство. Пусть  – направляющий вектор оптимальной разделяющей гиперплоскости и при этом . Положим

,                (14.6)

и покажем, что вектор  совпадает с обобщенным портретом .

Прежде всего, убедимся, что пара  удовлетворяет (14.3). Действительно,

      ,

      .

Далее, если , то в силу единственности обобщенного портрета

.                       (14.7)

Рассмотрим вектор . Из (14.3) следует, что

,

и, значит,

.

Далее, в силу (14.7)

.

Окончательно, поскольку , получаем , что противоречит определению оптимальной разделяющей гиперплоскости. Итак, . Теперь из определения  и  (14.6) немедленно следует, что гиперплоскости

и

совпадают. Теорема доказана.

Замечание. Из доказательства теоремы следует, что

.