14.3.2. Метод экстремальной группировки признаков.

При изучении сложных объектов, заданных многими параметрами, возникает задача разбиения параметров на группы, каждая из которых характеризует объект с какой-либо одной стороны. Но получение легко интерпретируемых результатов осложняется тем, что во многих приложениях измеряемые параметры (признаки) лишь косвенно отражают существенные свойства, которыми характеризуется данный объект.

Так, в психологии измеряемые параметры — это реакции людей на различные тесты, а выражением существенных свойств, общими факторами, являются такие характеристики, как тип нервной системы, работоспособность и т.д. Подобная природа формирования набора частных характеристик объекта или системы присуща широкому классу явлений и процессов в экономике, социологии, медицине, педагогике и т. д.

Оказывается, что во многих случаях изменение какого-либо общего фактора сказывается неодинаково на измеряемых признаках, в частности, исходная совокупность из признаков обнаруживает такое естественное «расщепление» на сравнительно () небольшое количество групп, при котором изменение признаков, относящихся к какой-либо одной группе, обусловливается в основном каким-то одним общим фактором, своим для каждой такой группы. После принятия этой гипотезы разбиение на группы естественно строить так, чтобы параметры, принадлежащие к одной группе, были коррелированы сравнительно сильно, а параметры, принадлежащие к разным группам, — слабо. После такого разбиения для каждой группы признаков строится случайная величина, которая в некотором смысле наиболее сильно коррелирована с параметрами данной группы; эта случай ная величина интерпретируется как искомый фактор, от которого существенно зависят все параметры данной группы.

Очевидно, подобная схема является одним из частных случаев общей логической схемы факторного анализа. В отличие от ранее описанных классических моделей факторного анализа при эвристически-оптимизационном подходе группировка признаков и выделение общих факторов делаются на основе экстремизации некоторых эвристически введенных функционалов. Разбиения, оптимизирующие функционал , или (см. ниже), называются экстремальной группировкой параметров. Вообще под задачей экстремальной группировки набора случайных величин на заранее заданное число классов понимают отыскание такого набора подмножеств натурального ряда чисел что при и таких нормированных (т. е. с единичной дисперсией ) факторов которые максимизируют какой-либо критерии оптимальности.

Остановимся здесь на алгоритмах для двух различных критериев оптимальности [33].

Первый алгоритм экстремальной группировки признаков в качестве критерия оптимальности использует функционал

в котором подсог понимается обычный парный коэффициент корреляции между признаком и фактором Обозначим . Максимизация функционала (как по разбиению признаков на группы так и по выбору факторов ) отвечает требованию такого разбиения параметров, когда в одной группе оказываются наиболее «близкие» между собой, в смысле степени коррелированности, признаки: в самом деле, при максимизации функционала для каждого фиксированного набора случайных величин в одну группу будут попадать такие признаки, которые наиболее сильно коррелированы с величиной в то же время среди всех возможных наборов случайных величин будет выбираться такой набор, что каждая из величин в среднем наиболее «близка» ко всем признакам своей группы.

Очевидно, что при заданных классах отпимальный набор факторов получается в результате независимой максимизации каждого слагаемого

откуда

где — максимальное собственное значение матрицы составленной из коэффициентов корреляции переменных, входящих в При этом оптимальный набор факторов задается формулами:

(14.14)

где — собственный вектор матрицы , отвечающий максимальному собственному значению т. е. .

С другой стороны, считая известными факторы нетрудно построить разбиение максимизирующее при фиксированных а именно:

(14.15)

Соотношения (14.14) и (14.15) являются необходимыми условиями максимума

Для одновременного нахождения оптимального разбиения и оптимального набора факторов предлагается итерационный алгоритм, последовательно осуществляющий выбор оптимальных (по отношению к разбиению, полученному на предыдущем шаге), факторов, а затем выбор разбиения, оптимального к факторам, полученным на предыдущем шаге.

Пусть на шаге итерации построено разбиение параметров на группы

Для каждой такой группы параметров строят факторы по формуле (14.14) и новое разбиение параметров в соответствии с правилом: параметр относится к группе если

(14.16)

Если для некоторого параметра найдутся два или более факторов таких, что для и этих факторов в (14.16) имеет место равенство, то параметр относится к одной из соответствующих групп произвольно.

Очевидно, что на каждом шаге итераций функционал не убывает, поэтому данный алгоритм будет сходиться к максимуму. Максимум может быть локальным.

Для описания второго алгоритма экстремальной группировки признаков введем функционал

В содержательном смысле функционал похож на функционал и его максимизация также соответствует основному требованию к характеру разбиения признаков на группы. В [33] показано, что имеет место следующее утверждение. Необходимыми и достаточными условиями максимума функционала являются следующие:

разбиение параметров на группы таково, что функционал

(где -некоторые числовые коэффициенты, равные либо + 1, либо — 1) достигает максимума как по разбиению на группы, так и по значениям коэффициентов . Здесь под понимается, как обычно, дисперсия случайной величины ;

факторы определяются соотношениями

Логическая схема доказательства этого следующая.

Сначала, варьируя функционал и используя метод множителей Лагранжа для учета условия показывают, что в точке максимума функционала фактор имеет вид (14.17). Затем доказывается, что если имеет вид (14.17), то при любом наборе коэффициентов и любом разбиении параметров на группы имеет место соотношение если же достигает максимума, то Из этого утверждения следует, в частности, что для нахождения групп и факторов достаточно максимизировать функционал . При фиксированном разбиении на группы функционал достигает максимума тогда, когда для каждого I соответствующие коэффициенты максимизируют величину

(14.18)

Поэтому естественно воспользоваться рекуррентной процедурой максимизации . В процедуре циклически перебираются переменные и на каждом шаге принимается решение об отнесении очередного параметра к одной из групп и определяется знак

Пусть к шагу алгоритма построены разбиения параметров на группы вычислены коэффициенты равные + 1 или — 1, и пусть на этом шаге рассматривается признак Тогда строятся вспомогательных коэффициентов по формуле

где

и для всех вычисляются разности

Затем выбирается такой номер , что

и признак исключается из группы ; и присоединяется к группе остальные группы признаков на этом шаге не меняются. В результате получаем новое разбиение признаков — Новые значения коэффициентов определяются по формулам:

На следующем шаге алгоритма рассматривается параметр если если

Процедура заканчивается, если при рассмотрении всех признаков очередного цикла сохранились как разбиения признаков на группы, так и значения всех коэффициентов; полученное разбиение и значения коэффициентов рассматриваются как оптимальные.

Для демонстрации сходимости метода к локальному максимуму в [33] доказывается, что на каждом шаге алгоритма значение не убывает.

Нетрудно проследить идейную близость метода экстремальной группировки факторов с методами, опирающимися на логическую схему факторного анализа. Так, например, отправляясь от общей модели вида

(14.1), первую компоненту и «нагрузки» в методе главных компонент можно определять из условия минимума выражения при нормирующем ограничении . Решение этой условно экстремальной задачи очевидным образом сводится к нахождению максимума выражения при условии

Для построения следующего фактора (второй главной компоненты) рассматриваются случайные величины Для этих случайных величин аналогичным образом находится свой фактор, который и является фактором и т. д.

Очевидно, что при реализации первого алгоритма метода экстремальной группировки признаков для каждой группы признаков строится фактор, имеющий смысл первой главной компоненты для признаков этой группы.

В центроидном методе общий фактор ищут в виде

(14-19)

где выбирается так, чтобы максимизировать величину

Сравнение выражений (14.19) и (14.20) с выражениями (14.17) и (14.18) показывает, что максимизация функционала приводит к построению для каждой группы признаков фактора, отличающегося на некоторый множитель от первого общего фактора, который был бы построен для этой группы центроидным методом.