3.1. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

Описание метода главных компонент «principal components.» было опубликовано Г. Хотеллингом [144; 1] в 1933 г. Но идея была высказана Пирсоном еще в 1905 г. без ее алгебраического обоснования. Подробное описание метода главных компонент имеется у Андерсона [5; 4], Хармана [117], Кендэла [172; 1], Вульстена [325] и других авторов. Метод можно применять при различных исходных матрицах. Если отправной точкой является матрица R с единицами на главной диагонали, то говорят о компонентном анализе (см. с. 99), чья модель отлична от модели классического факторного анализа и приводит к дескриптивным факторам. Если в матрице R используют оценки общностей, то получают модель факторного анализа. Чтобы избежать путаницы в терминологии, условимся далее говорить о методе главных компонент и методе главных факторов, если речь идет лишь о способе расчета без подробного указания исходной матрицы. Под компонентным анализом будем понимать определение главных компонент корреляционной матрицы, т. е. в этом случае исходной является матрица R с единицами на главной диагонали. Под анализом главных факторов подразумевается приложение метода главных компонент к редуцированной корреляционной матрице после оценки общностей.

Определение главных компонент с помощью настольных вычислительных средств требует значительной затраты времени. Это было причиной того, что лишь после внедрения в 50-е годы ЭВМ стали проводиться такие анализы в широких масштабах. Если в распоряжении исследователя имеется ЭВМ, то рациональнее проводить анализ с помощью метода главных факторов. При работе с вычислительными клавишными машинами (В КМ) рекомендуется центроидный метод, разработанный Тэрстоуном [286; 5]. Центроидный метод является упрощенным аппроксимационным вариантом метода главных факторов с меньшим объемом вычислительных работ, что достигается за счет сокращения процедуры вычисления. Но центроидный метод дает всего лишь приближенные результаты. По численному решению уравнений с помощью метода главных факторов имеется обширная литература. Проблема сводится к классической задаче нахождения собственных значений и собственных векторов симметрической матрицы. Многочисленные способы решения этой задачи описаны, например, у Цурмюля [329] и Уилкинсона [311].

3.1.1. Геометрическая интерпретация

Если измеряются три нормально распределенных параметра у я индивидуумов, то получится ситуация, изображенная на рис. 3.1, где точек сосредоточены в трехмерном пространстве с тремя осями переменными X, Y, Z в облаке вокруг общего центра тяжести. Это облако точек наблюдений в общем случае имеет овальную форму и называется эллипсоидом. В частном случае, когда во всех трех направлениях дисперсия одинакова по величине, получают шар. На рис. 3.1 изображено овальное тело с тремя секущими плоскостями (различно заштрихованными), проходящими через центр тяжести. Оси координат исходных, переменных X, Y, Z являются более или менее произвольными. Систему координат X, Y, Z можно было бы сместить вдоль одной или нескольких осей, не изменяя облако точек как таковое.

Также можно было бы систему координат вращать как угодно вокруг начала координат в любом из трех измерений и в известной степени удерживать облако точек в неизменном состоянии. Итак, вполне очевидно, что имеется бесконечно много систем координат, в которых можно изобразить наблюдаемые точки. Но одна из них представляет особый интерес. Это система координат главных осей. Самый длинный диаметр овального тела является первой главной осью Второй главной осью является самый длинный диаметр в плоскости, ортогональной к первой главной оси и проходящей через центр тяжести системы (заштрихована вертикально).

Рис. 3.1. Трехмерное распределение точек с соответствующими главными осями. XYZ — первоначальная система координат; — система главных осей. Овальное тело (эллипсоид) пересечено тремя взаимноперпендикулярными плоскостями, проходящими через его центр тяжести

Третья главная ось в трехмерном случае перпендикулярна к первой и второй главным осям и проходит через центр тяжести.

В геометрическом плане метод главных факторов состоит в том, что вначале определяют самую длинную ось эллипсоида. Она является первой главной осью, которая должна пройти через центр тяжести, на рис. 3.1 эта ось обозначена буквой Затем устанавливают подпространство — в данном случае плоскость, — которое перпендикулярно к первой главной оси и которое проходит через центр тяжести (на рис. 3.1 заштриховано вертикально). В этом подпространстве находится следующая по величине ось скопления точек и т. д., пока не будут определены последовательно все главные оси.

Длины главных осей пропорциональны величинам дисперсий в направлении соответствующей главной оси. С помощью метода главных факторов устанавливаются направления этих осей относительно первоначальной системы координат. Главные оси соответствуют факторам, которые должны быть лишь надлежащим образом пронормированы, чтобы выполнялось требование единичной дисперсии факторов.

На рис. 3.2 наглядно изображена ситуация после выделения первой главной оси. Все точки рис. 3.1 спроецированы на плоскость, проходящую через центр тяжести, перпендикулярно к первой главной оси, причем проецирование производится параллельно , как это показано для одной точки.

Рис. 3.2. Ситуация после установления положения первой главной оси. Определение второй и третьей главных осей . Кружочками обозначены проекции точек, изображенных на рис. 3.1, на плоскость Показано проецирование одной из таких точек

По координатам точек на этой плоскости ищут вторую главную ось. Направление оси устанавливается опять таким образом, чтобы максимум дисперсии лежал в направлении этой оси, т. е. определяется самая длинная ось эллипса на этой плоскости. Третья главная ось проходит через центр тяжести и перпендикулярна к и

Все точек, изображенные на рис. 3.1, можно спроецировать параллельно плоскости на первую главную ось, тогда распределение точек на этой прямой укажет максимум дисперсии в одном измерении. Точно таким же образом можно спроецировать точки на любую другую главную ось или на так называемые гиперплоскости, или подпространства, которые натянуты на них. Плоскость, натянутая на первые две главные оси и на рис. 3.1 расположена так, что проекция всех точек на нее дает максимум дисперсии в двух измерениях. Изображение этой плоскости представлено еще раз на рис. 3.3. Так как полная дисперсия известна, то можно поэтапно установить, какая ее доля (в процентах) содержится в гиперплоскости главных осей.

На рис. 3.4 демонстрируется случай, когда для описания всех точек достаточно двух главных осей. Хотя точки соответствуют результатам наблюдений по трем переменным, эти три переменные X, Y и Z почти полностью зависят от двух величин. Все точки находятся на одной плоскости или вблизи нее, причем эта плоскость наклонена под некоторым углом к первоначальной системе координат. Если вместо измеренных трех переменных выбрать для изображения точек только две, а именно использовать две главные оси и , то при небольшом рассеянии точек вне плоскости, натянутой на эти оси, теряется незначительная часть информации.

Рис. 3.3. Проекции точек, изображенных на рис. 3.1, на трёх плоскостях, проходящих через главные оси

Изображенная в пространстве на рис. 3.4 плоскость, натянутая на главные оси, на рис. 3.5 представлена в плане. Дисперсия в направлении мала. Если бы все точки лежали на одной плоскости, то потребность в третьей главной оси отпала бы совсем, и без потери какой-либо информации можно было бы точки изображать не в системе координат XYZ, а в системе

Переход от системы координат XYZ к системе на рис. соответствует геометрическому решению задачи выделения факторов, осуществляемому с помощью метода главных факторов. Этот переход от одной системы координат к другой без потери информации на практике большей частью возможен лишь тогда, когда определяются все главные компоненты, т. е. для переменных определяют главных компонент. При благоприятных обстоятельствах, а на практике это встречается довольно часто, довольствуются меньшим числом главных осей, но достаточным, чтобы воспроизвести большую часть дисперсии, как это схематично изображено на рис. 3.4 и 3.5.

При применении метода главных факторов исходят большей частью не из тестового пространства, к которому здесь прибегают ради наглядности, а из корреляционной матрицы. Как будет далее показано, каждой главной оси соответствует собственный вектор а и собственное значение к корреляционной матрицы.

Рис. 3.4. Распределение результатов наблюдений с небольшим рассеянием вдоль оси . Все точки, которые были определены в системе координат XYZ, лежат практически на плоскости и имеют лишь незначительное рассеяние в направлении

Собственное значение к имеет порядок величины дисперсии, корень из него соответствует поэтому длинам главных осей на рис. 3.1-3.5.

Чтобы добиться наглядности на этих рисунках, вопрос о знаке корня не затрагивался. Для обозначения главных осей использовался лишь символ

Рис. 3.5. Три проекции овального тела, изображенного на рис. 3.4

Вопрос, когда следует прекратить дальнейшее выделение факторов, обсуждается в гл. 3.3. Подходящим критерием для этого являются относительные величины длин главных осей. Например, из рис. 3.5 видно, что можно было бы пренебречь; в ситуации, изображенной на рис. 3.3, следует оставить.