16.6.3. ДИСКРИМИНАЦИЯ В ДВЕ МНОГОМЕРНЫЕ СОВОКУПНОСТИ

Предположим, что наблюдение принадлежит одной из двух -мерных -распределенных совокупностей с известными векторами средних и известной одинаковой матрицей ковариаций V. Тогда отношение правдоподобия будет иметь вид

Это приводит к следующему правилу классификации: пусть

если то наблюдение следует отнести к классу 1, в противном случае — к классу 2. Здесь

Итак, это правило зависит от скалярной случайной величины которая является линейной функцией от X. Распределение обладает некоторыми интересными свойствами.

Если X принадлежит совокупности, подчиняющейся распределению то имеет нормальное распределение с математическим ожиданием 1/26 и дисперсией . В то же время, если X принадлежит второй совокупности, подчиняющейся распределению имеет нормальное распределение с математическим ожиданием и дисперсией , где

Величина известна как расстояние Махаланобиса между двумя совокупностями. Теперь можно получить выражение для вероятности ошибочной классификации наблюдения. Предположим, что наблюдение принадлежит совокупности 1, но было отнесено к совокупности 2. Вероятность такого события равна

где через Ф обозначена стандартная функция нормального распределения.

Качество правила классификации можно оценить, вычисляя ожидаемую потерю от ошибочной классификации:

Предположим теперь, что параметры многомерных нормальных распределений неизвестны, но имеются выборки объема и для двух -мерных нормальных распределений. Векторы X, и могут быть использованы как оценки а общая матрица ковариации V оценивается с помощью объединенной выборочной ковариационной матрицы

где — обычные несмещенные оценки V по каждой из выборок в отдельности.

Дискриминантную функцию можно теперь получить подстановкой в (16.6.3) оценок параметров. Тогда пусть

если то новое наблюдение х следует отнести к совокупности 1, в противном случае — к совокупности 2.

Первый член в (16.6.4) известен как линейная дискриминантная функция Фишера. К сожалению, распределение величины является очень сложным, так что вычислить вероятность ошибочной классификации для этого правила трудно. Точное распределение коротко обсуждается в [Anderson (1958), с. 138—139]. Асимптотически, когда вероятности ошибочной классификации могут быть

получены, если использовать приближение для 6 в виде

Другой подход к получению оценок вероятностей ошибочной классификации может быть основан на применении оцененного правила классификации к выборкам, для которых известна принадлежность объектов к совокупностям, иногда называемым в медицинских приложениях обучающими выборками. Тогда оценкой вероятности ошибочной классификации в совокупность 2 будет отношение числа наблюдений из совокупности 1, но классифицированных в совокупность 2, к общему числу наблюдений из совокупности 1. Однако, как показано в [Morrison (1972)], этот подход может привести к оценкам с сильным смещением.

В этом разделе применялся байесовский подход, поскольку исследователь приписывал вероятности принадлежности наблюдений к классам, оцениваемые им на основе априорного знания о совокупностях. В работе [Anderson (1958), с. 133—136] также обсуждается минимаксное решение, когда константа с выбирается при отсутствии априорных вероятностей так, чтобы выполнялось условие

Во многих приложениях дискриминантных функций используется значение Если ковариационные матрицы совокупностей не предполагаются одинаковыми, то дискриминантные функции становятся квадратичными по X.