1.2.4. Аналитические меры разделимости распределений.

Пусть в модели Фишера (см. п. 1.1.2) d определено как в (1.37), тогда с учетом (1.16) и (1.17) из (1.12) получаем

Для невырожденных многомерных нормальных распределений с общим величина определенная формулой (1.39), называется расстоянием Махаланобиса между распределениями [16]. Она обладает следующими важными свойствами:

в задаче Фишера d однозначно определяет кривую «чувствительность — специфичность». При этом минимаксная ошибка классификации с помощью критерия отношения правдоподобия выражается формулой

т. е. чем d больше, тем минимаксная ошибка меньше. При ошибка равна 0,5 и соответствующие распределения совпадают;

если в задаче Фишера случайные векторы состоят из двух взаимно независимых векторов то

Свойство (1.40) называют аддитивностью по отношению к независимым компонентам;

если

(неравенство треугольника).

В качестве обобщения расстояния Махаланобиса на произвольные распределения в теоретических работах широко используется дивергенция (в расхождение) или, как еще иногда говорят, расстояние Кульбака между распределениями с плотностями

В модели Фишера . Аналогично расстоянию Махаланобиса: только тогда, когда распределения совпадают;

J также аддитивно по отношению к независимым компонентам и инвариантно относительно любого взаимно однозначного отображения координат. Какого-либо простого аналога (1.40) в литературе не приводится.

Другой мерой разделимости распределений является расстояние Бхатачария [160, гл. 9]

Оно также инвариантно по отношению к взаимно однозначным отображениям координат, аддитивно по отношению к независимым компонентам, обращается в ноль при . В случае модели Фишера

и в общем случае двух нормальных распределений (1.13)

С помощью расстояния Бхатачария удается оценить сверху среднюю ошибку классификации при использовании критерия отношения правдоподобия

Более подробно эти вопросы обсуждаются в [189] и [160, гл. 3 и 9].