9.3.2. Выбор признаков для нормальных распределений.

Выбор признаков с использованием границы Чернова или расстояния Бхатачария обычно представляет собой трудную задачу, так как требует интегрирования произведения плотностей вероятности. Можно выбрать признаки, исходя из других физических соображений, и затем вычислить значения критериев. Но так как при этом требуется выполнить численное многомерное интегрирование, то эти критерии не могут конкурировать с критерием вероятности ошибки, который имеет более очевидный физический смысл. Поэтому применение этих критериев ограничивается задачами с хорошо определенными плотностями вероятности, для которых критерии допускают явное математическое выражение. Хотя эти выражения получены для нескольких видов плотностей вероятности [Кайлат, 1967], мы рассмотрим только случай нормальных распределений

Для нормальных распределений выбор признаков означает нахождение матрицы преобразования А размерности максимизирующей, при данном выражение

в котором и 22 (9.55) заменены соответственно на . Максимизация (9.79) — значительно более трудная задача, чем в случае дискриминантного анализа. Однако можно найти оптимальное преобразование А с помощью численных методов поиска. Так как инвариантно относительно взаимно однозначных отображений, поиск оптимального преобразования А можно начать, взяв в качестве ковариационных матриц и 22 диагональные матрицы I и Л.

Когда обе ковариационные матрицы одинаковы, т. е. задача становится очень простой. В этом случае принимает вид

Выражение (9.80) имеет тот же вид, что и выражение (9.13) для критерия при

Поэтому матрица оптимального преобразования А должна состоять из собственных векторов матрицы Далее, так как ранг матрицы равен единице, только одно собственное значение равно нулю. Таким образом,

а первый собственный вектор определяется выражением

где вектор нормирован относительно так что

Таким образом, один признак несет всю информацию о разделимости классов и является поэтому достаточной статистикой, в то время как другие признаки излишни.

Когда в (9.55) состоит из двух членов. Первый член превращается в когда обе ковариационные матрицы одинаковы, и поэтому его можно рассматривать как степень разделимости классов, благодаря различию их средних значений. Второй член превращается в когда и его можно рассматривать как степень разделимости, обусловленную различием ковариационных матриц. Оптимальные признаки для каждого из этих членов можно выбрать следующим образом.

Выбор признаков для

Выбор признаков для производится так же, как в случае равных ковариационных матриц. В этом случае достаточна одного признака, и он определяется следующим образом:

где верхние индексы означают, что и относятся к первому члену. Вектор нормируется для выполнения условия

Выбор признаков для

Процедура выбора признаков для очень похожа на процедуру максимизации критерия аналогии с (9.37) имеем

(см. скан)

Для того чтобы (9.87) выполнялось при любых выражение в (9.87) должно быть нулевой матрицей, т. е.

(см. скан)

Оптимальные признаки, следовательно, удовлетворяют одному из двух условий

или

Матрица , удовлетворяющая (9.90), не может быть оптимальной, так как в силу (9.79) из (9.90) следует Так как (9.89) совпадает с (9.25) и, кроме того, инвариантно относительно любого преобразования с матриией размерности то матрица должна состоять из собственных векторов матрицы а собственные значения матрицы в -мерном подпространстве совпадают с собственными значениями матрицы в исходном пространстве.

В таком случае принимает вид

Поэтому первые собственных значений выбираются таким образом, чтобы выполнялось условие

вместо ранее применявшегося условия Выбранные признаков являются собственными векторами, соответствующими первым собственным значениям (9.92), а матрицу А можно определить как

где верхние индексы обозначают второй член

Выбор признаков для комбинации

Для минимизации мы не имеем аналитической процедуры и поэтому должны использовать численные методы поиска минимума. Однако признаки, близкие к оптимальным, можно найти аналитически. Рассмотрим два возможных способа выбора таких признаков.

а) Выберем собственные векторы матрицы и нормируем их относительно Тогда

Далее,

где компопента вектора

Таким образом, мы выбираем первые собственных векторов так, чтобы удовлетворить условию [Фукуиага, 1969]

В этой процедуре мы используем признаки и надеемся, что эти признаки являются также хорошими и для Слово «хорошие» означает, что хорошо представляется небольшим числом признаков Преимущество этой процедуры заключается в том, что влияние отдельных признаков можно оценивать независимо (т. е. выполняется свойство аддитивности).

б) Если доминирует в то собственный вектор (9.86) должен быть наиболее эффективным признаком.

Поэтому вначале выбираем а остальные признаков могут быть выбраны таким образом, чтобы максимизировать [Хаидерсон, 1969]. Этими признаками будут из (9.93). Недостаток этой процедуры в том, что вектор неортогонален к другим признакам, и поэтому выбор отдельных признаков становится не независимым.

Пример 9.4. Расстояние Бхатачария вычисляется для стандартных данных . Признаки выбираются и упорядочиваются согласно описанным выше процедурам а) и б). Результаты приведены в табл. 9.1.