9.2.2. Выбор признаков, максимизирующих критерий J1

Предположим, что мы выбираем признаков полученных умножением матрицы преобразования А размерности на исходный -мерный вектор

Матрицы рассеяния в пространстве соответствующие матрицам в пространстве X, имеют вид

Пусть соответственно собственные значения и собственные векторы матриц Хотя матрица несимметрична, ее собственные значения и собственные векторы вычисляются с помощью одновременной диагонализации (см. (2.123) и (2.124)). В таком случае критерий

для признаков принимает вид

Как только с помощью (9.17) определено -мерное подпространство пространства X, критерий оказывается инвариантным относительно любой невырожденной матрицы преобразования В размерности так как

Следовательно, выбрать признаков, максимизирующих значит пайтп такое -мерное подпространство, что собственные значения матрицы в этом подпространстве будут больше, чем в любом другом -мериом подпространстве. Как только это подпространство найдено, линейные преобразования внутри пего не могут ни улучшить, ни ухудшить значение

Условие максимума критерия можно записать следующим образом:

при любых Используя приближенное равенство и опуская члены второго и более высоких порядков малости, имеем

Так как — матрица рассеяния и они симметричны, то (9.23) имеет вид:

Так как выражение (9.23) принимает вид

Для того чтобы (9.24) выполнялось при любых выражение

в (9.24) должно быть нулевой матрицей, т. е.

Так как

то матрица в левой части этого равенства может быть выражена через матрицы ее собственных значений и собственных векторов следующим образом:

Поэтому (9.25) принимает вид

или

где вектор-столбец матрицы имеющей размерность . Уравнение (9.28) показывает, что являются также собственными значениями и собственными векторами матрицы

Нам уже известно из (9.21), что после выбора -мерного подпространства с помощью матрицы преобразования А дальнейшее применение матрицы преобразования размерностей не изменяет Поэтому из (9.28) можно сделать вывод, что оптимальным является такое преобразование А, при котором собственные значения матрицы в соответствующем -мерном подпространстве будут равны:

где упорядочены следующим образом:

Этого можно достигнуть, составив матрицу из первых собственных векторов

Действительно, при любой невырожденной матрице В размерности дает одно и то же значение критерия

Равенство (9.32) показывает, что влияние отдельных признаков

является независимым и свойство аддитивности (9.2) выполняется.

Пример 9.1. Возьмем в качестве матриц соответственно Так как ранг матрицы равен 2, матрица имеет только два ненулевых собственных значения, т. е.

Поэтому, не уменьшая критерия можно ограничиться всего двумя признаками.

Пример 9.2. Возьмем в качестве матрицы и Так как ранг матрицы равен 1, то матрица имеет только одно ненулевое собственное значение:

Можно, не уменьшая ограничиться всего одним признаком.

Сравнивая с (3.104), видим, что (9.35) — граница Чернова для нормальных распределений, когда два распределения имеют одинаковые ковариационные матрицы