§ 9.2. Дискриминантный анализ

9.2.1. Матрицы рассеяния и критерий разделимости.

В дискриминантном анализе критерии разделимости классов формулируются с использованием матриц рассеяния внутри классов и матриц рассеяния между классами.

Матрица рассеяния внутри классов доказывает разброс объектов относительно векторов математических ожиданий классов:

Матрица рассеяния между классами может быть определена несколькими способами. Например,

где — объекты, принадлежащие классу, предполагаются независимыми. Вектор представляет собой математическое ожидаиие смеси распределений и определяется следующим образом:

Матрица рассеяния смеси имеет вид

Все эти матрицы рассеяния строятся таким образом, чтобы они были инвариантными относительно сдвига системы координат, В Этом параграфе в основном используются матрицы и , но перейти от этих матриц к другим не представляет труда.

Для того чтобы получить критерий разделимости классов, мы должны связать с этими матрицами некоторое число. Это число должно увеличиваться при увеличении рассеяния между классами или при уменьшении рассеяния внутри классов. Для этого имеется несколько возможных способов, по наиболее часто используются следующие критерии:

Относительно этих критериев можно сделать следующие замечания:

1. Обычно в качестве используются матрицы а в качестве — матрицы или Однако в критерии в качестве используются соответственно матрицы потому что

2. Критерий часто формулируют в виде [Фридман, 1967]. Здесь он берется в логарифмической форме для того, чтобы получить свойство аддитивности для независимых признаков.

3. Смысл критерия заключается в максимизации при . Следовательно, — множитель Лагранжа, — константа.

4. Критерии инвариантны относительно любого невырожденного линейного преобразования, в то время как критерии и зависят от системы координат.