14.3.2. Метод экстремальной группировки признаков.
При изучении сложных объектов, заданных многими параметрами, возникает задача разбиения параметров на группы, каждая из которых характеризует объект с какой-либо одной стороны. Но получение легко интерпретируемых результатов осложняется тем, что во многих приложениях измеряемые параметры (признаки) лишь косвенно отражают существенные свойства, которыми характеризуется данный объект.
Так, в психологии измеряемые параметры — это реакции людей на различные тесты, а выражением существенных свойств, общими факторами, являются такие характеристики, как тип нервной системы, работоспособность и т.д. Подобная природа формирования набора частных характеристик объекта или системы присуща широкому классу явлений и процессов в экономике, социологии, медицине, педагогике и т. д.
Оказывается, что во многих случаях изменение какого-либо общего фактора сказывается неодинаково на измеряемых признаках, в частности, исходная совокупность из
признаков обнаруживает такое естественное «расщепление» на сравнительно (
) небольшое количество групп, при котором изменение признаков, относящихся к какой-либо одной группе, обусловливается в основном каким-то одним общим фактором, своим для каждой такой группы. После принятия этой гипотезы разбиение на группы естественно строить так, чтобы параметры, принадлежащие к одной группе, были коррелированы сравнительно сильно, а параметры, принадлежащие к разным группам, — слабо. После такого разбиения для каждой группы признаков строится случайная величина, которая в некотором смысле наиболее сильно коррелирована с параметрами данной группы; эта случай ная величина интерпретируется как искомый фактор, от которого существенно зависят все параметры данной группы.
Очевидно, подобная схема является одним из частных случаев общей логической схемы факторного анализа. В отличие от ранее описанных классических моделей факторного анализа при эвристически-оптимизационном подходе группировка признаков и выделение общих факторов делаются на основе экстремизации некоторых эвристически введенных функционалов. Разбиения, оптимизирующие функционал
, или
(см. ниже), называются экстремальной группировкой параметров. Вообще под задачей экстремальной группировки набора случайных величин
на заранее заданное число классов
понимают отыскание такого набора подмножеств
натурального ряда чисел
что
при
и таких
нормированных (т. е. с единичной дисперсией
) факторов
которые максимизируют какой-либо критерии оптимальности.
Остановимся здесь на алгоритмах для двух различных критериев оптимальности [33].
Первый алгоритм экстремальной группировки признаков в качестве критерия оптимальности использует функционал
в котором подсог
понимается обычный парный коэффициент корреляции между признаком
и фактором
Обозначим
. Максимизация функционала
(как по разбиению признаков на группы
так и по выбору факторов
) отвечает требованию такого разбиения параметров, когда в одной группе оказываются наиболее «близкие» между собой, в смысле степени коррелированности, признаки: в самом деле, при максимизации функционала
для каждого фиксированного набора случайных величин
в одну
группу будут попадать такие признаки, которые наиболее сильно коррелированы с величиной
в то же время среди всех возможных наборов случайных величин
будет выбираться такой набор, что каждая из величин
в среднем наиболее «близка» ко всем признакам своей группы.
Очевидно, что при заданных классах
отпимальный набор факторов
получается в результате независимой максимизации каждого слагаемого
откуда
где
— максимальное собственное значение матрицы
составленной из коэффициентов корреляции переменных, входящих в
При этом оптимальный набор факторов
задается формулами:
(14.14)
где
— собственный вектор матрицы
, отвечающий максимальному собственному значению т. е.
.
С другой стороны, считая известными факторы
нетрудно построить разбиение
максимизирующее при фиксированных
а именно:
(14.15)
Соотношения (14.14) и (14.15) являются необходимыми условиями максимума
Для одновременного нахождения оптимального разбиения
и оптимального набора факторов
предлагается итерационный алгоритм, последовательно осуществляющий выбор оптимальных (по отношению к разбиению, полученному на предыдущем шаге), факторов, а затем выбор разбиения, оптимального к факторам, полученным на предыдущем шаге.
Пусть на
шаге итерации построено разбиение параметров на группы
Для каждой такой группы параметров строят факторы
по формуле (14.14) и новое
разбиение параметров
в соответствии с правилом: параметр
относится к группе если
(14.16)
Если для некоторого параметра
найдутся два или более факторов таких, что для и этих факторов в (14.16) имеет место равенство, то параметр
относится к одной из соответствующих групп произвольно.
Очевидно, что на каждом шаге итераций функционал
не убывает, поэтому данный алгоритм будет сходиться к максимуму. Максимум может быть локальным.
Для описания второго алгоритма экстремальной группировки признаков введем функционал
В содержательном смысле функционал
похож на функционал и его максимизация также соответствует основному требованию к характеру разбиения признаков на группы. В [33] показано, что имеет место следующее утверждение. Необходимыми и достаточными условиями максимума функционала
являются следующие:
разбиение параметров на группы
таково, что функционал
(где
-некоторые числовые коэффициенты, равные либо + 1, либо — 1) достигает максимума как по разбиению на группы, так и по значениям коэффициентов
. Здесь под
понимается, как обычно, дисперсия случайной величины
;
факторы
определяются соотношениями
Логическая схема доказательства этого следующая.
Затем выбирается такой номер
, что
и признак
исключается из группы
; и присоединяется к группе
остальные группы признаков на этом шаге не меняются. В результате получаем новое разбиение признаков —
Новые значения коэффициентов определяются по формулам:
На следующем
шаге алгоритма рассматривается параметр если
если
Процедура заканчивается, если при рассмотрении всех признаков очередного цикла сохранились как разбиения признаков на группы, так и значения всех коэффициентов; полученное разбиение и значения коэффициентов рассматриваются как оптимальные.
Для демонстрации сходимости метода к локальному максимуму в [33] доказывается, что на каждом шаге алгоритма значение
не убывает.
Нетрудно проследить идейную близость метода экстремальной группировки факторов с методами, опирающимися на логическую схему факторного анализа. Так, например, отправляясь от общей модели вида
(14.1), первую компоненту
и «нагрузки»
в методе главных компонент можно определять из условия минимума выражения
при нормирующем ограничении
. Решение этой условно экстремальной задачи очевидным образом сводится к нахождению максимума
выражения
при условии
Для построения следующего фактора
(второй главной компоненты) рассматриваются случайные величины
Для этих случайных величин аналогичным образом находится свой фактор, который и является фактором
и т. д.
Очевидно, что при реализации первого алгоритма метода экстремальной группировки признаков для каждой группы признаков
строится фактор, имеющий смысл первой главной компоненты для признаков этой группы.
В центроидном методе общий фактор ищут в виде
(14-19)
где
выбирается так, чтобы максимизировать величину
Сравнение выражений (14.19) и (14.20) с выражениями (14.17) и (14.18) показывает, что максимизация функционала
приводит к построению для каждой группы признаков фактора, отличающегося на некоторый множитель от первого общего фактора, который был бы построен для этой группы центроидным методом.