§ 8.2. Другие критерии для случая одного распределения
Кроме среднеквадратичной ошибки аппроксимации, существуют другие критерии качества признаков в случае одного распределения. В этом параграфе мы рассмотрим два характерных критерия: критерий разброса и энтропию [Toy, 1967].
8.2.1. Критерий разброса.
Критерий разброса представляет собой математическое ожидание квадрата расстояния между объектами, определяемое следующим образом:
где 
— взаимно независимые векторы-объекты, взятые на одного распределения. Учитывая свойства независимости, (8.39)
можно переписать в виде
где 
и 
— автокорреляционная и ковариационная матрицы, 
вектор математического ожидания распределения. Пусть вектор 
связан с вектором X ортогональным преобразованием 
Случайный вектор 
имеет тот же самый разброс, что и X, так как
Равенство (8.42) следует из ортогональности матрицы 
Мы ограничиваемся рассмотрением ортогональных преобразований из-за их свойства сохранять расстояние: разброс определяется по формуле (8.39) через расстояния, и поэтому линейное преобразование общего вида может сделать его произвольно большим или малым.
Можно также записать 
как сумму вкладов каждой компоненты вектора 
где 
столбец матрицы 4е (читатель может проверить, что 
член (8.43) есть разброс случайной величины у.
Если рассматриваются только 
компонент вектора 
то их разброс
Теперь задачу выбора признаков можно сформулировать как задачу выбора ортонормированных векторов 
максимизирующих 
. Но из (8.12) и доказанной оптимальности разложения Карунена — Лоева следует, что 
должны быть, как и раньше, доминирующими собственными векторами ковариационной матрицы 
Таким образом, можно сделать следующие выводы:
1. Доминирующие собственные векторы ковариационной матрицы 
являются наилучшими в смысле разброса 
признаками среди всех ортогональных преобразований.
2. Из (8.43) или (8.44) следует, что вклад каждого признака в общий разброс равен удвоенной величине соответствующего собственного значения.
