8.2.3. Общие замечания, относящиеся к выбору признаков в случае одного распределения.
В предшествующем рассмотрении мы имели дело только с ортогональными линейными преобразованиями. Это было необходимо для того, чтобы сохранить структуру распределения. Легко показать, что при данном распределении можно увеличить одно из собственных значений по сравнению с остальными в произвольное число раз одним лишь изменением масштабов. Но если не существует каких-либо физических соображений для обоснования таких искажений, то такого рода действия — суть лишь математические преобразования сами по себе, а получаемые результаты будут крайне сомнительными.
Рассмотрим также характер использовавшихся нами критериев. Как критерий среднеквадратичной ошибки, так и критерш! разброса представляют собой математические ожидания некоторых квадратичных функций переменных. По этой причине все наши признаки были функциями статистик второго порядка. Статистики второго порядка могут быть представлены только ковариационной и корреляционной матрицами. Собственные значения этих матриц инвариантны относительно линейных ортогональных преобразований. В литературе по статистике этот способ представления данных обычно называют методом главных компонент.
С другой стороны, когда выбор признаков направлен на классификацию двух или большего числа распределений, допускается и более общий класс преобразований. Это можно делать, так как разделимость классов, например, вероятность ошибки байесовского классификатора, инвариантна относительно любых невырожденных преобразований. Эти преобразования сохраняют структуру распределений в той степени, в какой она существенна для классификации.
В этом. параграфе мы пришли к выводу, что оптимальными базисными векторами разложения Карунена — Лоева являются собственные векторы ковариационой матрицы данного распределения. Заметим, однако, что если в качестве базисных векторов разложения выбрать собственные векторы корреляционной матрицы, то все приведенные выше рассуждения остаются справедливыми. Собственное значение корреляционной матрицы равно среднеквадратичной ошибке, вызванной исключением из разложения соответствующего собственного вектора.
