2.10. НЕЗАВИСИМЫЕ БИНАРНЫЕ ПРИЗНАКИ

В качестве примера типичной задачи классификации при дискретных Значениях признаков рассмотрим случай двух классов, в каждом из которых компоненты вектора бинарны и условно независимы. Пусть для определенности где компоненты вектора х равны либо 1, либо 0, причем

и

Это модель задачи классификации, в которой каждый из признаков несет ответ типа «да» — «нет». В случае следует ожидать, что признак будет чаще давать ответ «да» при состоянии природы нежели при . В предположении условной независимости можно записать в виде произведения вероятностей для компонент х. Записать это удобнее следующим образом:

Отношение правдоподобия при этом определяется выражением

а из (57) получим выражение для разделяющей функции

Видно, что данное уравнение линейно относительно Таким образом, можно написать

где

и

Посмотрим, к каким выводам можно прийти на основании полученных результатов. Напомним прежде всего, что в случае принимается решение а в случае — решение Мы уже убедились, что представляет собой взвешенную комбинацию компонент вектора х. Величиной веса измеряется значимость ответа «да» для при классификации. Если то величина не несет информации о состоянии природы, так что . В случае имеем так что вес положителен. Следовательно, в этом случае ответ «да» для дает голосов в пользу . Кроме того, при любом постоянном чем больше тем больше и . С другой стороны, при величина становится отрицательной, и ответ «да» дает голосов в пользу

Величины априорных вероятностей проявляются в выражении разделяющих функций только через так называемый пороговый вес Увеличение приводит к увеличению склоняя решение к тогда как уменьшение оказывает противоположное действие. Геометрически векторы можно представить вершинами -мерного гиперкуба. Поверхность решения, определяемая уравнением представляет собой гиперплоскость, отделяющую вершины от вершин Положение этой гиперплоскости в дискретном случае можно, очевидно, изменять множеством способов, не пересекая вершин и не изменяя вероятности ошибки. Каждая из этих гиперплоскостей представляет оптимальную разделяющую поверхность, обеспечивая оптимальный образ действия.