§ 4.2. Линейная разделяющая функция, минимизирующая вероятность ошибки решения

Линейные классификаторы представляют собой простейшие классификаторы, поскольку их реализация непосредственно связана со многими известными методами классификации, такими как

корреляционные методы или методы, основанные на вычислении евклидовых расстояний. Однако линейные классификаторы оптимальны в байесовском смысле только для нормальных распределений с равными ковариационными матрицами. Для некоторых приложений, таких как выделение полезного сигнала в системах связи, равенство ковариаций является приемлемым предположением, так как при изменении сигнала свойства шума существенно не изменяются. Однако во многих других приложениях распознавания образов предположение о равенстве ковариаций не является оправданным.

Было предпринято много попыток разработать наулучшие лилейные классификаторы для нормальных распределений с неравными ковариационными матрицами и для распределений, отличных от нормального. Конечно, эти классификаторы не являются оптимальными, однако во многих случаях их простота служит достаточной компенсацией ухудшения качества классификации. В данном параграфе мы рассмотрим методы создания линейного классификатора для этих более сложных случаев. Так как заранее оговорено, что независимо от вида распределений используется линейный классификатор, то решающее правило должно иметь вид

Выражение есть линейная функция относительно вектора X. Ее называют линейной разделяющей функцией. Задача синтеза классификатора заключается в том, чтобы для заданных распределений определить коэффициенты — и значение порога оптимальные по различным критериям. Если заданные распределения являются нормальными с равными ковариационными матрицами, то линейная разделяющая функция совпадает с логарифмом отношения правдоподобия.