17.2. Множественный анализ соответствий (МАС)

MAC является обобщением обычного АС на случай нескольких переменных, что можно сделать несколькими способами, которые приводят к эквивалентному результату. В случае в любом случае придем к обычному АС [263].

Рассмотрим два эквивалентных подхода, ведущих к MAC Первый позволяет легко ввести расстояния между объектами и между катеюриями, второй рассматривает MAC как обобщение метода главных компонент и допускает прозрачную статистическую интерпретацию MAC. Другие возможные подходы к обобщению АС рассмотрены, например, в [263, 110]

17.2.1. Бинарная форма матрицы данных.

Предположим, что исходные данные представлены в виде матрицы данных X и что все переменные, входящие в матрицу данных, являются категоризованными (или некоторые из них могут быть получены квантованием количественных непрерывных переменных).

Представим все переменные в бинарной форме, т.е. переменной с числом категорий поставим в соответствие набор из бинарных переменных , таких, что если значение есть категория и — в противном случае Матрица данных в бинарной форме представляет собой матрицу Y размера , значениями элементов которой могут быть только 0 и 1, а число столбцов , т. е. равно суммарному количеству категорий для всех признаков .

Таким образом, в отличие от матрицы X объекту соответствует строка матрицы Y, а категориям переменных — столбцы. (Это не имеет принципиальною значения, но упрощает обозначения.)

Матрица Y может быть представ пена как объединение матриц Y, с строками и I, столбцами, соответствующих бинарным представлениям признаков Сумма элементов матрицы Y равна .

17.2.2. Подход, основанный на непосредственном использовании матрицы Y.

Матрицу Y можно рассматривать как таблицу с неотрицательными элементами строками, столбцами и применить к ней АС из § 17.1.

С этой целью сначала получим аналог матрицы

(17.14)

Сумма элементов матрицы F равна 1. Сумма элементов любой строки этой матрицы (т. е. любого объекта в данном случае) будет одинакова , поскольку для любого объекта реализуется одна и только одна категория каждой переменной Следовательно, строки матрицы имеют одинаковый вес, а матрица , где единичная матрица размерности . Сумму элементов для столбца матрицы F, отвечающего категории признака, обозначим через

(17.15)

где — число объектов, у которых признак принял категорию. Здесь для обозначения столбца используем два индекса - , чтобы было более ясно, о какой категории идет речь Величины являются диагональными элементами матрицы . Далее будем также использовать диагональную матрицу , т. е. ее диагональные элементы суть частоты

Теперь можно определить профили строк (объектов) и столбцов (категорий) и ввести -метрики в пространствах объектов и категорий (см. п. 17.1.1).

Расстояние между катеюрией признака и категорией признака будет задаваться выражением

(17.16)

где — число объектов, принявших категорию k для и катеюрию I для признаков

Расстояния между профилями строк (объектов) в метрике будут

вес а величина определена в (17 15) и является частотой катеюрии переменной, — это соответствующий строке и столбцу элемент матрицы строка матрицы

Расстояние можно рассматривать как взвешенное (по категориям) хэммингово расстояние между объектами в пространстве бинарных переменных Вес увеличивает вклад различий объектов по редким (по частоте) категориям

17.2.3. Присвоение числовых меток объектам и категориям (оцифровка).

Действуя так же, как в п. 17 1.2, получим матрицу

(17.18)

и матрицы

(17.19)

Пусть теперь — ненулевые собственные числа матрицы — соответствующие им собственные векторы. Введем наборы числовых меток для строк (объектов) и столбцов (категорий):

Вектор будет -компонентным вектором, а вектор является -компонентным. Так же как и в п. вектор (набор) меток для строк пропорционален вектору, компоненты которого равны проекциям нормированных профилей строк на собственный вектор матрицы т. е. это вектор главных компонент для профилей строк (в метрике ) Аналогичное утверждение имеет место и для векторов меток для столбцов (категорий).

Таким образом, имеем наборов числовых меток для объектов и категории Иными словами, можно сказать, что использование MAC для обработки матрицы данных с переменными, измеренными в неколичественной шкале, приводит в результате к квантификации (или оцифровке) матрицы данных. Далее полученные наборы меток можно использовать для обработки данных как измеренных в количественных шкалах. Рассмотрим сначала, какими свойствами обладают наборы числовых меток, получаемые в MAC.

1. Существуют тривиальные наборы меток соответствующие максимальному собственному числу Все компоненты этих наборов равны 1. Причина появления наборов обсуждалась в п. 17.1.4.

2. Наборы меток для объектов можно рассматривать как новые количественные переменные (факторы). Эти переменные центрированы с дисперсией и попарно некоррелированы если

3. Используя уравнения (17.11), можно показать, что метки для объектов и категорий удовлетворяют следующим уравнениям перехода:

Следовательно, координата объекта для набора (т. е. значение фактора для объекта) пропорциональна среднему арифметическому значению меток категорий, реализующихся для этого объекта (всего реализуется категорий, по одной для каждой переменной)

где — компоненты вектора соответствующие переменной

Аналогично координата (метка) категории переменной для набора пропорциональна с множителем среднему значению фактора для объектов, имеющих значением для переменной категорию, т. е. эта метка пропорциональна соответствующему условному среднему значению фактора

Из свойства 3 следует, что можно одновременно отображать объекты и категории в одной и той же системе координат для визуального анализа, так как метки, соответствующие объектам и категориям, измерены в одинаковых шкалах.

Пусть, например, следует провести визуальный анализ данных для первых двух факторов. Тогда для объекта имеем координаты а для отображения категорий следует взять координаты категория переменной).

17.2.4. Матрица Берта.

Матрица которая появляется в MAC, впервые была получена в работе [200] и носит название матрицы Берта (Burt). Это симметричная матрица, состоит из блоков. Имеется диагональных блоков-матриц. Диагональный блок соответствует переменной и представляет собой диагональную матрицу размера так как две категории одной переменной не могут появляться одновременно. Диагональная матрица D имеет те же самые диагональные элементы, что и матрица В.

Внедиагональный блок представляет собой частотную таблицу сопряженности переменных.

17.2.5. Подход, основанный на максимизации статистического критерия.

Здесь рассматривается подход конструирования количественных факторов (переменных), которые наилучшим образом объясняют (аппроксимируют) матрицу Y в смысле некоторого статистического критерия. Одновременно с получением значений (метод для объектов) факторов при данном подходе получаются и метки для категорий переменных.

Получаемые метки, а также возникающие здесь метрики совпадают с метками и метриками, определяемыми на основе подхода, рассмотренного в п. 17.2.2, 17.2.3.

Пусть теперь следует присвоить числовые метки объектам. Потребуем, чтобы для набора меток v выполнялись условия центрирования и нормировки

(17.23)

Присвоить каждому объекту X, некоторое числовое значение — это и значит ввести некоторый новый признак (фактор) V.

Введем теперь величину (статистический критерий), определяющую качество набора меток

(17.24)

где — квадрат коэффициента множественной корреляции между фактором v и бинарными переменными , т. е.

(17.25)

Построенный из условия максимума фактор v можно рассматривать как аналог первой главной компоненты, максимизирующей сумму квадратов коэффициентов корреляции (см. гл. 13).

Так как бинарные переменные линейно независимы, то

т. е. есть просто сумма квадратов корреляций бинарных переменных соответствующих переменной

Будем теперь искать фактор из условия максимума критерия (17.24). Это приводит, с учетом условий нормировки (17.23), к следующей задаче на обобщенные собственные значения

(17.26)

где — вектор размерности с единичными компонентами; матрица ; матрица элементы матрицы - вычисляются следующим образом:

где s — номер категории признака; -номера объектов; — число объектов, соответствующих категории признака . Суммарная матрица есть матрица связен (близостей) между объектами измеряемых с калярным произведениями профилен строк в метрике . Каждая из величин представляет собой сумму весов значении признаков , которые совпадают для объектов и k. Легко проверить, что матрица Ее собственные векторы совпадают с собственными векторами матрицы и, следовательно, решением максимизационной задачи будут факторы определенные в п. 17.2.3.

17.2.6. Некоторые вопросы вычислительной реализации и интерпретации в множественном анализе соответствий

Итерационная вычислительная процедура. Факторы можно получить, основываясь на решении проблемы собственных чисел векторов для матриц Естественно, следует выбирать матрицу с минимальном размерностью, а сопряженные наборы меток для объектов категории полу чать с помощью уравнении перехода (17,21). Этот подход пригоден, когда какая-либо из матриц пли помещается в оперативной памяти ЭВМ. В этом случае можно использовать и методы сингулярного разложения матриц, применяя их к матрице Ф (17.18). При задачах большей размерности можно использовать итерационную процедуру, основываясь непосредственно на уравнениях (17.21). Так, используя уравнения (17.20), получим следующую процедуру:

где t — номер итерации; k — номер фактора; — текущая оценка собственного числа.

Векторы на каждой итерации необходимо нормировать и центрировать в соответствии с условиями (17.23), а вектор нормировать.

Через определенное число итераций необходимо ортогонализировать текущие векторы (или U к ранее найденным векторам ) и тривиальным факторам.

Основной прием, делающий эту процедуру достаточно эффективной даже при больших размерностях , связан с использованием специфической бинарной формы матрицы Y. Действительно, умножение строки матрицы на вектор на самом деле требует использования только операций сложения (поскольку только элементов этой строки равно 1, а остальные равны 0). Таким образом, умножение матрицы Y на вектор требует всего сложений (так же как и умножение Y на ). Операция сложения намного экономнее по времени выполнения, чем операция умножения, и этих операций нужно всего на каждой итерации, что и обеспечивает приемлемую эффективность вычислительной процедуры даже при больших размерностях пир. При этом матрица Y может считываться поблочно из внешней памяти.

Итерационная процедура тем более пригодна, что обычно требуется небольшое количество факторов . Существуют способы повышения эффективности итерационной процедуры, например одновременная итерация сразу нескольких векторов, и др. (см. [263]).

Собственные числа полученные в результате итеративного процесса (17.28), будут связаны с собственными числами матриц соотношением а векторы — совпадать с собственными векторами этих матриц. Используя соотношения (17.20), отсюда нетрудно перейти и к факторам

Некоторые вопросы интерпретации. Как и при анализе главных компонент, перед исследователем, использующим MAC, возникает ряд вопросов, среди которых основными являются следующие: сколько факторов использовать и как их интерпретировать. Решение первого из них наталкивается на трудности, которых нет в анализе главных компонент, где наиболее принятый способ отбора числа значимых факторов связан с использованием доли следа ковариационной (корреляционной) матрицы, объясненной первыми факторами (см. гл. 13). В MAC этот подход использовать обычно нельзя. Действительно, след матрицы

Исключая вклад собственного числа соответствующего тривиальному фактору, имеем, что сумма ненулевых собственных чисел

С другой стороны, величина Поэтому доля следа, объясненная первыми q факторами, равная

(17.28)

может быть очень невелика, если общее число градаций значительно.

Одна из возможностей эвристической оценки числа факторов состоит в сравнении собственных чисел с их средним значением — отбираются только факторы с собственными числами, большими среднего значения. Чтобы получить оценку среднего значения, оценим число положительных собственных чисел Она получается на основе следующих соображений, поскольку для каждой из матриц составляющих матрицу Y, сумма ее столбцов равна вектору с единичными компонентами, ранг матрицы Y не более чем

(17.29)

(Более точно , но поскольку обычно можно использовать (17.29).) Поэтому для числа положительных собственных чисел для нетривиальных факторов верно неравенство . Отсюда в качестве оценки средней величины ненулевого собственного числа получаем

Интерпретация факторов. Подход к интерпретации выделенных факторов основан на анализе множественных коэффициентов корреляции между факторами и исходными переменными (наборами бинарных переменных . Аналогично интерпретации факторов в анализе главных компонент эти величины играют роль нагрузок переменных на факторы (см гл. 13). Из тех же соображений полезными для интерпретации являются коэффициенты корреляции между фактором и бинарными переменными (категориями).

Указанные величины, полезные для интерпретации факторов, получаются следующим образом:

квадрат коэффициента множественной корреляции между фактором и бинарными переменными

квадрат коэффициента корреляции между фактором и бинарной переменной