Глава 4. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

4.1. Введение

В гл. 1 уже отмечались основные пункты расхождения между факторным и компонентным анализами. Поскольку последний из них относительно хорошо известен, мы дадим лишь краткое описание его.

В компонентном анализе применяется такое линейное преобразование наблюдаемых переменных что получается совокупность некоррелированных и нормированных переменных причем для этого никакие гипотезы о не требуются. Как заметил Барт (Burt, 1949), этот метод был разработан еще Карлом Пирсоном в 1901 г., но применяемая обычно процедура принадлежит Хотеллингу (Hotelling, 1933).

4.2. Основные уравнения

В анализе главных компонент основными являются уравнения

где обозначает компоненту и вес компоненты в переменной.

Сравнивая уравнения (4.1) и (1.1), видим, что здесь не рассматривается никаких остатков поскольку полная дисперсия переменных в компонентом анализе полностью исчерпывается, когда учтены все компонент.

Уравнения (4.1) в матричной записи можно записать как

где

Пусть при этом первоначальное преобразование к новым переменным удовлетворяет равенствам

где ортогональная матрица. Пусть есть столбец матрицы есть строка Тогда выбирается так, чтобы дисперсия была максимальной. Когда это сделано, выбирается так, чтобы дисперсия была максимальной при дополнительном условии некоррелированности . Аналогичная процедура проводится для остальных дисперсия максимизируется при условии некоррелируемости

Обозначим через дисперсию как прежде, через А будем обозначать выборочную ковариационную матрицу Так как то

и поскольку некоррелированы, то

Это означает, что матрица

диагональная с элементами расположенными в порядке убывания. Это требование к расположению является обычным в практике и обусловливает однозначность. Фактически есть по величине собственное значение матрицы — соответствующий собственный вектор, так что

Нормируя получаем главную компоненту Чтобы нормировать т. е. «подправить» так, чтобы дисперсии равнялись единицам для

положим

В матричной записи это имеет вид:

Это равенство выражает через Чтобы выразить через умножим (4.5) справа на Это даст

что идентично (4.2), если положить

Тогда столбец равен

и норма определяется равенством

Используя (4.4) и (4.6), легко показать, что

Поскольку суммарная дисперсия переменных ли равна суммарной дисперсии ненормированных компонент Таким образом, мы можем найти и долю, вносимую каждой компонентой в суммарную дисперсию.

При вычислениях часто оказывается удобным вектор нормировать по другому и тогда . В этом случае равно максимуму величины

4.3. Обсуждение метода

Компонентный анализ наиболее полезен, когда все переменные измерены в одних и тех же единицах. Если же это не так, то метод значительно труднее обосновывать. Изменение масштаба всех или нескольких переменных приводит к умножению ковариационной матрицы с двух сторон на диагональную. Влияние этого на собственные значения и собственные векторы очень сложно, а компоненты, к несчастью, не

инвариантны при изменении масштаба. В этом отношении компонентный анализ невыгодно отличается от факторного анализа, приведенного в гл. 2. Одно преимущество, которое он все-таки имеет по сравнению с методом гл. - это, как правило, более быстрая сходимость итерационного процесса.

В педагогической и психологической деятельности обычно нормируют каждую переменную; ковариационная матрица А заменяется матрицей корреляций. Это увеличивает трудности, когда требуются критерии значимости, факт, значение которого не всегда хорошо оценивается. И, хотя в примере, приведенном ниже, используется корреляционная матрица, это нельзя принимать как узаконенную процедуру.