Глава 5. ЛИНЕЙНЫЕ РАЗДЕЛЯЮЩИЕ ФУНКЦИИ
5.1. ВВЕДЕНИЕ
В гл. 3 предполагалось, что вид рассматриваемых распределений вероятностей известен, и с помощью выборок производилась оценка их параметров. В данной главе известным будет считаться вид разделяющих функций, и выборки будут использоваться для оценки значений параметров классификаторов. Исследованию подлежат различные процедуры, применяемые для определения разделяющих функций, имеющие как статистический, так и нестатистический характер. Однако ни для одной из них не требуется, чтобы был известен вид рассматриваемых распределений вероятностей, и в этом смысле все их можно считать непараметрическими.
В данной главе будут рассматриваться разделяющие функции, линейные либо по компонентам вектора х, либо по некоторому данному множеству функций от х. Линейные разделяющие функции наиболее удобны с точки зрения аналитического исследования. Как было показано в гл. 2, они могут быть оптимальными, если рассматриваемые распределения согласованы. Даже когда они не оптимальны, может быть следует пренебречь некоторыми качествами ради выигрыша в простоте.
Вычислительный процесс значительно упрощается при использовании линейных разделяющих функций, и классификатор определенной структуры представляется наиболее подходящим средством для реализации в качестве машины специального назначения.
Линейный дискриминант Фишера является моделью в принятом нами подходе. Задача определения линейной разделяющей функции будет сформулирована как задача минимизации некоторой функции критерия. Вполне оправданным является использование выборочного риска в качестве критерия для задач классификации, т. е. средних потерь при классификации множества конструктивных выборок. Однако поскольку получение линейного дискриминанта, дающего минимальный риск, представляется достаточно трудным, в данной главе будет исследовано несколько аналогичных функций критерия, имеющих более простые аналитические выражения. Наибольшее внимание уделяется исследованию сходимости различных процедур градиентного спуска для минимизации этих функций. Сходство многих процедур иногда затрудняет выделение очевидных различий
между ними. По этой причине в изложение материала включена сводка основных результатов, данная в табл. 5.1 в конце разд. 5.10.
