6.2.3. Обобщение на случай нескольких классов.
Метод k ближайших соседей легко обобщается на случай нескольких классов. Выбирая к ближайших соседей объекта X, подсчитаем число
объектов каждого класса. Пусть 
— число объектов, принадлежащих соответственно классам 
Тогда, согласно критерию Байеса для многих классов, решающее правило будет иметь вид
Для простоты ограничимся исследованием эффективности этого решающего правила в случае, когда используется правила ближайшего соседа, т. е. 
[Ковер, 1967]. Как и в случав двух классов, эффективность увеличивается с увеличением k. Условную вероятность ошибки при фиксированном объекте X можно представить следующим образом:
Первый член выражения (6.79) дает условную вероятность ошибки для 
второй — для 
Воспользовавшись тем, что 
перепишем (6,79) в виде
С другой стороны, условная вероятность ошибки байесовского решающего правила (при фиксированном X) равна
где 
Воспользовавшись неравенством Шварца, получим
Прибавляя 
к левой и правой частям (6.82), получаем
Комбинируя (6.83) и (6.80), имеем
Взяв математическое ожидание от левой и правой частей (6.84)
получаем
Таким образом, и в случае нескольких классов вероятность ошибки 
меньше, чем удвоенная вероятность ошибки байесовского решающего правила. В случае 
неравенство (6.85) переходит в (6.65).
