14.2. Каноническая модель факторного анализа

14.2.1. Общий вид модели, ее связь с главными компонентами.

Как и прежде, будем для удобства полагать исследуемые наблюдения центрированными. Переход от исходных наблюдений и центрированным осуществляется с помощью простого переноса начала координат в «центр тяжести» исходного множества наблюдений, т. е. . Тогда линейная версия модели факторного анализа представляется в виде соотношений

или в компонентной записи

Здесь — прямоугольная матрица размера коэффициентов линейного преобразования (нагрузок общих факторов на исследуемые признаки), связывающего исследуемые признаки с ненаблюдаемыми (скрытыми) общими факторами , а вектор-столбец определяет ту часть каждого из исследуемых признаков, которая не может быть объяснена общими факторами, в том числе включает в себя, как правило, ошибки измерения признака

Применительно к каждому конкретному наблюдению соотношение (14.1) дает

или в компонентной записи

Будем предполагать, что вектор остаточных специфических факторов U подчиняется -мерному нормальному распределению , не зависит от F и состоит из взаимно независимых компонент, т. е. его ковариационная матрица имеет диагональный вид, где по диагонали стоят элементы

Вектор общих факторов в зависимости от содержания конкретной задачи, может интерпретироваться либо как -мерная нормальная случайная величина со средним (в силу центрированности исходных наблюдений) и с ковариационной матрицей специального вида либо как вектор неизвестных неслучайных параметров, вспомогательных переменных, значения которых меняются от наблюдения к наблюдению. При последней интерпретации вектора общих факторов более правильной является запись модели в виде (14.1), причем условия центрированности независимости и нормированности дисперсий компонент вектора F в этом случае имеют вид:

Однако при обоих вариантах интерпретации вектора общих факторов F исследуемый вектор наблюдений X оказывается нормально распределенной -мерной случайной величиной: при первом варианте как линейная комбинация двух нормальных случайных векторов (F и U), а при втором варианте за счет нормальности специфических факторов При этом из (14.1) и из сделанных выше допущений немедленно следует, что

или в матричной записи

Примером достаточно прозрачной интерпретации модели факторного анализа может служить ее формулировка в терминах так называемых интеллектуальных тестов. При этом наблюдение по признаку выражает отклонение оценки, например в баллах, данной индивидууму на экзамене по тесту, от некоторого среднего уровня. Естественно предположить, что в качестве ненаблюдаемых общих факторов от которых будут зависеть оценки индивидуумов по всем тестам, выступят такие факторы, как характеристика общей одаренности индивидуума характеристики его математических технических или гуманитарных способностей.

Отметим, что соотношения (14.1) в точности воспроизводят модели множественной регрессии и дисперсионного анализа [12], в которых под понимаются так называемые объясняющие переменные (факторы-аргументы). Однако принципиальное отличие модели факторного анализа от регрессионных схем и дисперсионного анализа состоит в том, что переменные выступающие в роли аргументов во всех этих моделях, не являются непосредственно наблюдаемыми в моделях факторного анализа, в то время как в регрессионном и дисперсионном анализе значения измеряются на статистически обследованных объектах.

Замечание 1.0 связи метода главных компонент и метода факторного анализа. Рассмотрим следующую общую схему, включающую в себя в качестве частных случаев обе сравниваемые модели. Примем гипотезу, что существуют такие взаимно некоррелированные факторы (быть может, в неограниченном числе), что

или в матричной записи

где случайных переменных без ограничения общности можно предположить, что

Очевидно, представление (14.3), если оно существует, не единственно, так как переходя от F с помощью произвольного ортогонального преобразования С к новым переменным будем иметь вместо (14.3) следующее соотношение:

Исследователю не известны коэффициенты но он хочет научиться наилучшим (в некотором смысле) образом аппроксимировать признаки с помощью линейных функций от небольшого (заранее определенного) числа факторов , которые поэтому естественно назвать главными или общими. Аппроксимация признаков X с помощью означает представление X в виде (14.3), но с «урезанной» суммой, стоящей в правой части, т. е.

где — матрица, составленная из первых тстолбцов матрицы A, a

Оказывается, что, по-разному формулируя критерий оптимальности аппроксимации X с помощью придем либо к главным компонентам, либо к общим факторам. Так, например, если определение элементов матрицы подчинить идее минимизации отличия ковариационной матрицы 2 исследуемого вектора X от ковариационной матрицы аппроксимирующего вектора (в смысле минимизации евклидовой нормы то ) определяется пропорционально главной компоненте вектора X. в частности , где величине характеристический корень ковариационной матрицы главная компонента столбец матрицы есть где — собственный вектор матрицы , соответствующий характеристическому

Если же определение аппроксимирующего вектора подчинить идее максимального объяснения корреляции между исходными признаками с помощью вспомогательных (ненаблюдаемых) факторов и, в частности, идее минимизации величины

при условии неотрицательности величин , то можно показать строка оптимальной в этом смысле матрицы преобразования состоит из факторных нагрузок общих факторов на исходный признак в модели факторного анализа вида (14.1). Другими словами, сущность задачи минимизации (по ) величины (14.5) состоит в следующем. Первый из общих факторов находится из условия, чтобы попарные корреляции между исходными признаками были как можно меньше, если влияние на них этого фактора учтено. Следующий общий фактор находится из условия максимального ослабления попарных корреляционных связей между исходными признаками, оставшихся после учета влияния первого общего фактора , и т. д.

Из сказанного, в частности, следует, что методы главных компонент и факторного анализа должны давать близкие результаты в тех случаях, когда главные компоненты строятся по корреляционным матрицам исходных признаков, а остаточные дисперсии сравнительно невелики.

Замечание 2. Вопрос о существовании модели факторного анализа. По-видимому, не всякая ковариационная матрица допускает представление вида (14.2), а следовательно, не всякий вектор наблюдений X допускает интерпретацию в рамках модели факторного анализа типа (14.1). Очевидно, условия представимости вектора наблюдений X в рамках модели факторного анализа должны формулироваться в терминах свойств ковариационной матрицы 2, а также в виде некоторых соотношений между размерностью исходного пространства и числом общих факторов . Одним из наиболее общих (но малоконструктивных) результатов такого рода является, например, следующее утверждение: для того чтобы вектор X допускал представление вида (14.1), необходимо и достаточно, чтобы существовала диагональная матрица V с неотрицательными элементами, такая, что матрица была бы неотрицательно-определенной и имела бы ранг . Более детальное и конструктивное исследование условий существования модели факторного анализа читатель сможет найти, например, в [180]. Заметим лишь, что изучение проблемы существования (разрешимости уравнений (14.1)) модели факторного анализа дает основу для построения различных статистических критериев адекватности модели по отношению к исследуемым наблюдениям