14.2.3. Определение структуры и статистическое исследование модели факторного анализа.

Итак, в распоряжении исследователя — последовательность многомерных наблюдений и с помощью модели (14.1) нужно перейти от исходных коррелированных признаков являющихся компонентами каждого из наблюдений, к меньшему числу некоррелированных вспомогательных признаков (общих факторов)

Для этого надо суметь определить оценки неизвестных нагрузок остаточных дисперсий и, наконец, самих общих факторов

Как упоминалось, в основной модели (14.1) при оказывается слишком много неизвестных параметров для их однозначного определения. Поэтому вначале исследователь должен выбрать какую-то систему дополнительных априорных соотношений, связывающих неизвестные параметры модели, которые делают решение задачи однозначным и позволяют получить относительно простое частное решение системы (14.2). Затем он может отказаться от этих дополнительных соотношений, подбирая с помощью подходящего ортогонального преобразования (вращения осей) тот вариант оценок нагрузок и остаточных дисперсий который ему кажется предпочтительнее в основном в отношении возможности содержательной интерпретации получаемых при этом общих факторов и их нагрузок. Остановимся подробнее на основных этапах статистического исследования модели факторного анализа.

Варианты дополнительных априорных соотношений между постулируемых исследователем с целью однозначной идентификации анализируемой модели:

1) решение системы (14.2) лежит лишь в классе таких матриц Q и V, для которых матрица имеет диагональный вид, причем диагональные элементы ее различны и упорядочены в порядке убывания;

2) из всех решений системы (14.2) выбирается лишь то, для которого матрица диагональна, причем все диагональные элементы различны и упорядочены (в порядке убывания);

3) решение системы (14.2) ищут лишь среди таких матриц Q, которые для заранее заданной матрицы (размера ранга ) удовлетворяют требованию

В частности, выбор

приводит к ограничению на Q типа

что означает: первый исходный признак должен выражаться только через один первый общий фактор второй признак — через два общих фактора и т. д.

Можно, кстати, показать, что при соответствующем выборе вспомогательной матрицы В определение искомых параметров модели приводит к решению ранее сформулированной задачи (14.5).

Содержательную интерпретацию условий 3) следует искать в ситуациях, когда исследователь располагает некоторой априорной информацией, из которой можно, во-первых, извлечь реальный гипотетический смысл общих факторов, и, во-вторых, постулировать наличие определенного числа нулевых элементов в матрице нагрузок Q (с более или менее точным указанием их «адреса»), что означает априорное отрицание зависимости исходных признаков от некоторых из общих факторов ). Эта же идея реализуется и в других, менее формализованных вариантах дополнительных условий («простые структуры», «нулевые элементы в специфических позициях» [180]), на которых здесь не будем останавливаться.

Описание общего итерационного подхода к выявлению структуры модели факторного анализа. Конкретная реализация этого подхода зависит от выбора варианта идентифицирующих условий типа 1) — 3). Как правило, исследователю известна лишь ковариационная матрица (если ее выборочное значение 2, пока не будем их различать). Логическая схема итераций следующая: задаемся некоторым нулевым приближением матрицы V;

используя (14.2), получаем нулевое приближение матрицы ;

по с помощью некоторого специального приема (см. ниже) последовательно определяем нулевые приближения Для столбцов матрицы

Затем определяем следующее (первое) приближение и т. д.

Специальный прием определения столбцов матрицы Q при известной матрице опирается на то, что матрица может быть представлена в виде Используя специфику выбранных идентифицирующих условий, определяют вначале столбец Затем переходят к матрице и определяют столбец и т.д.

Так, например, в случае условия 3) («обобщенного условия треугольности») этот прием дает

Здесь столбец матрицы

Последние два матричных уравнения можно расписать в виде

Отсюда можно последовательно находить

В случае условий идентификации типа 1) легко проверить, что столбцы являются первыми обобщенными собственными векторами (в метрике V) матрицы т. е. являются решением уравнения

где по величине характеристический корень уравнения

Поэтому общая итерационная схема определения структуры модели реализуется здесь в такой последовательности: — решение уравнений решение уравнений (14.8) и т.д.

Аналогичная реализация общей итерационной схемы определения структуры модели имеет место и в случае условий идентификации типа 2) с той только разницей, что уравнения (14.8) и (14.8) следует заменить уравнениями

Статистическое оценивание факторных нагрузок и остаточных дисперсий Оценивание производится либо методом максимального правдоподобия (см. [11, гл. 8)), либо так называемым центроидным методом. Первый метод используется обычно при идентифицирующих условиях типа 1) и 2). Он хотя и дает эффективные оценки для но требует постулирования закона распределения исследуемых величин (разработан лишь в нормальном случае), а также весьма обременительных вычислений. Центрондный метод используется при идентифицирующих условиях типа 3). Давая оценки, близкие к оценкам максимального правдоподобия, он, как и всякий непараметрнческнй метод, является более «устойчивым» по отношению к отклонениям от нормальности исследуемых признаков и требует меньшего объема вычислений. Однако из-за определенного произвола в его процедуре, которая приведена ниже, статистическая оценка метода, исследование его выборочных свойств (в общем случае) практически невозможны. Можно представить себе проведение подобных исследований лишь в каких-то специальных случаях, одни которых намечен, например, в [180].

Общая схема реализации метода максимального правдоподобия следующая. Составляется логарифмическая функция правдоподобия как функция неизвестных параметров отвечающая исследуемой модели, т. е. с учетом нормальности модели (14.1) и соответственно (14.2); в качестве дополнительных идентифицирующих условий берутся условия 1) или 2). С помощью дифференцирования этой функции правдоподобия по каждому неизвестных параметров и приравнивания полученных частных производных к нулю получается система уравнений, в которой известными величинами являются выборочные коварнации а также числа , а неизвестными — искомые параметры .

И наконец, предлагается вычислительная (как правило, итерационная) процедура решения этой системы. Подробнее см. в [96, 161, 180]. Реализация описанной выше (для случаев 1 и 2) общей итерационной вычислительной схемы с заменой неизвестной ковариационной матрицы исходных признаков 2 ее выборочным аналогом 2 приведет как раз к оценкам максимального правдоподобия параметров . Отметим также, что в [180] при достаточно общих ограничениях доказана асимптотическая нормальность оценок максимального правдоподобия и , что дает основу для построения соответствующих интервальных оценок.

Как выше отмечено, центроидный метод является одним из способов реализации вычислительной схемы (14.7), приспособленной для выявления структуры модели факторного анализа и оценки неизвестных параметров в случае идентифицирующих условий типа 3). Этот метод поддается весьма простой геометрической интерпретации. Отождествим исследуемые признаки с векторами, выходящими из начала координат некоторого вспомогательного -мерного пространства, построенными таким образом, чтобы косинусы углов между и равнялись бы их парным корреляциям а длины векторов — стандартным отклонениям соответствующих переменных Далее изменим, если необходимо, направления, т. е. знаки отдельных векторов так, чтобы как можно больше корреляций стало положительными. Тогда векторы будут иметь тенденцию к группировке в одном направлении в пучок. После этого первый общий фактор определяется как нормированная (т. е. как вектор единичной длины) сумма всех исходных векторов пучка, и, следовательно, он будет проходить каким-то образом через середину (центр) этого пучка; отсюда название «центроид» для общего фактора в этом случае.

Переходя затем к остаточным переменным подсчитывая ковариационную матрицу для этих остаточных переменных и проделывая относительно ту же самую процедуру построения пучка и т.п., выделяем второй общий фактор («второй центроид») и т. д.

Формализация этих соображений приводит к следующей итерационной схеме вычислений по определению факторных нагрузок и остаточных дисперсий с учетом описанной ранее вычислительной схемы (14.7).

Задаемся некоторым начальным приближением для дисперсий остатков V. Обычно полагают [96, 161]

Подсчитываем Выбираем в качестве нулевого приближения первого столбца вспомогательной матрицы В столбец, состоящий из одних единиц

Далее в соответствии с (14.7) определяем нулевое приближение первого столбца матрицы нагрузок

Затем вычисляется матрица — ределяется нулевое приближение второго столбца матрицы нагрузок

(14.10)

где вектор состоит только из или — 1, а знаки подбираются из условия максимизации знаменателя правой части (14.10) и т. д. Получив, таким образом, нулевое приближение для матрицы нагрузок Q, вычисляем и переходим к следующей итерации. При этом матрица не обязана совпадать с Кстати, как нетрудно усмотреть из вышесказанного, столбец матрицы В задает веса, с которыми суммируются векторы одного пучка для образования общего фактора («центроида»). Поскольку смысл центроидной процедуры в простом суммировании векторов пучка, она иногда так и называется — «процедура простого суммирования», то исследователю остается определить лишь нужное направление каждого из векторов пучка, т. е. знаки единиц, образующих столбцы

Непосредственная ориентация (при подборе знаков у компонент вектора ) на максимизацию выражений хотя и несколько сложнее реализуема, чем некоторые эвристические приемы, опирающиеся на анализ знаков элементов остаточных матриц [96, с. 41—46], но быстрее и надежнее приводит к выделению именно таких центроидов, которые при заданном будут обусловливать возможно большую часть общей дисперсии исходных признаков, т. е. минимизировать дисперсию остаточных компонент

Если не все исходные ковариации положительны, может быть целесообразным использование и в качестве вектора, состоящего как из + 1, так и из — 1. Отметим также, что недостатком центроидного метода является зависимость центроидных нагрузок от шкалы, в которой измерены исходные признаки. Поэтому исходные признаки обычно нормируют с помощью среднеквадратических отклонений , так что выборочная ковариационная матрица заменяется во всех рассуждениях выборочной корреляционной матрицей

Анализируя описанную выше процедуру центроидного метода, нетрудно понять, что построенные таким способом общие факторы могут интерпретироваться как первые «условных» главных компонент матрицы , найденные при дополнительном условии, что компоненты соответствующих собственных векторов могут принимать лишь два значения: плюс или минус 1.

Оценка значений общих факторов. Это одна из основных задач исследования. Действительно, мало установить лишь факт существования небольшого числа скрыто действующих общих факторов объясняющих природу взаимной коррелированности исходных признаков и основную часть их дисперсии. Желательно непосредственно определить эти общие факторы, описать их в терминах исходных признаков и постараться дать им удобную содержательную интерпретацию.

Приведем здесь идеи и результаты двух распространенных методов решения этой задачи, предложенных в разное время М. Бартлеттом (1938 г.) и Г. Томсоном (1951 г.) В обоих случаях предполагаем задачу статистического оценивания неизвестных нагрузок и остаточных дисперсий уже решенной.

Метод Бартлетта рассматривает отдельно для каждого фиксированного номера наблюдения модель (14.1) как регрессию признака по аргументам при этом верхний индекс у признака (и соответствующий первый нижний индекс у нагрузок) играет в данном случае роль номера наблюдений в этой регрессионной схеме, так что

Таким образом, величины интерпретируются как неизвестные коэффициенты регрессии по

В соответствии с известной техникой метода наименьших квадратов (с учетом «неравноточностн» измерений, т. е. того, что, вообще говоря, при ), определяющей неизвестные коэффициенты регрессии из условия

получаем

(14.11)

Очевидно, если исследуемый вектор наблюдений X нормален, то эти оценки являются одновременно и оценками максимального правдоподобия. Нестрогость данного метода в замене истинных (неизвестных нам) величин их приближенными (оценочными) значениями

Метод Томсона рассматривает модель (14.1) как бы «вывернутой наизнанку», а именно как регрессию зависимых переменных по аргументам Тогда коэффициенты си в соотношениях

или в матричной записи

где С — матрица коэффициентов размера находят в соответствии с методом наименьших квадратов из условия

Поскольку решение экстремальной задачи (14.12) выписывается, как известно [16], в терминах ковариаций и , то отсутствие наблюдений по зависимым переменным можно компенсировать знанием этих ковариаций, так как легко подсчитать, что

Отсюда, используя известные формулы метода наименьших квадратов, получаем (с заменой матриц Q и V их выборочными аналогами)

(14.13)

где матрица Г (размера определяется соотношением

Сравнение выражений (14.11) и (14.13) позволяет получить явное соотношение между решениями по методу Бартлетта и методу Томсона

Если элементы матрицы достаточно велики, то эти два метода будут давать близкие решения.

Статистическая проверка гипотез. Проверка гипотез, связанных с природой и параметрами используемой модели факторного анализа, составляет один из необходимых моментов исследования.

Теория статистических критериев применительно к моделям факторного анализа разработана весьма слабо. Пока удалось построить лишь так называемые критерии адекватности модели, т. е. критерии, предназначенные для проверки гипотез типа гипотезы заключающейся в том, что исследуемый вектор наблюдений X допускает представление с помощью модели факторного анализа (14.1) с данным (заранее выбранным) числом общих факторов . При этом критическая статистика , т. е. функция от результатов наблюдения, по значению которой принимается решение об отклонении или непротиворечивости высказанной гипотезы зависит от вида дополнительных (идентифицирующих) условий модели. Так, если рассматривается модель с дополнительными идентифицирующими условиями вида 1), т. е. дополнительно постулируется диагональность матрицы то гипотеза отвергается (с вероятностью ошибиться, приблизительно равной а) в случае

где число степеней свободы его положительность обеспечивается условием (14.6), а — как и ранее, величина -ной точки -распределения с степенями свободы (находится из таблиц).

На языке ковариационных матриц гипотеза означает в данном случае, что элементы матрицы должны лишь статистически незначимо отличаться от нуля, или, что эквивалентно, матрица должна иметь ранг, равный . А это в свою очередь означает, что последние характеристических корней уравнения должны лишь незначимо отличаться от нуля. Статистика может быть записана в терминах этих характеристических корней:

Если же в качестве идентифицирующих условий дополнительно к (14.1), или, что то же, к (14.2), постулируется наличие какого-то заранее заданного числа нулевых нагрузок из общего числа на определенных («специфических») позициях, то гипотеза отвергается (с вероятностью ошибиться, приблизительно равной а) в случае, когда

где число степеней свободы

Иногда удобнее вычислять критическую статистику в терминах характеристических корней (нумерованных в порядке убывания их величин) выборочной корреляционной матрицы R исследуемого вектора наблюдений X:

Статистики получены в результате реализации известной схемы критерия отношения правдоподобия.

Пользуясь этой схемой, можно построить аналогичные критерии адекватности и для некоторых специальных вариантов центроидного метода [96, с. 50]. Однако из-за слишком узких рамок такой модели эти критерии, с нашей точки зрения, не представляют достаточного интереса.

До сих пор не удалось построить многомерной решающей процедуры типа , т. е. оценки для неизвестного числа общих факторов . В настоящее время приходится ограничиваться последовательной эксплуатацией критериев адекватности заранее задано) при альтернативе Если гипотеза отвергается, то переходят к проверке гипотезы Но при альтернативе и т. д. Однако по уровням значимости а каждой отдельной стадии такой процедуры трудно сколько-нибудь точно судить о свойствах всей последовательной процедуры в целом.

Пользуясь асимптотической нормальностью оценок Q и V, можно было бы попытаться строить критерии для проверки гипотез, касающихся значений факторных нагрузок, например, гипотез о том, что некоторые признаки не зависят от заранее определенных факторов, т. е. что на определенных местах матрицы Q стоят элементы, статистически незначимо отличающиеся от нуля.

Однако построение этих критериев затруднено из-за сложности процедуры вычисления ковариационных матриц оценок . Правда, это затруднение можно обойти, используя в качестве приближенного решения критерий незначимого отклонения от нуля множественного коэффициента корреляции между заданным исследуемым признаком и заранее определенным набором фактрров