19.3. Выявление эллипсоидальной кластерной структуры (восстановление дискриминантного подпространства)

19.3.1. Восстановление дискриминантного подпространства на основе проекционных индексов типа функционалов от плотностей распределения проекций.

Почему решение оптимизационной задачи (19.1) с использованием ПИ вида (19.4) приведет к выявлению кластерной структуры? Частично ответ следует из рассмотрения неравенства (19.5). Более того, оказывается, что, решая пошаговым методом задачу (19.1), придем к некоторому новому базису в ДП, которое, как указывается в п. 19.2.2, содержит полную информацию о кластерной структуре в случае, если верна модель (19.2), (19.2). Верна следующая лемма.

Лемма 19.1. Пусть имеет место модель смеси распределений (19.2), (19.2). Предположим теперь, что векторы найдены с помощью последовательной (step-wise) процедуры максимизации ПИ (19.4) и при этом каждый из векторов -ортогонален подпространству, натянутому на векторы . Тогда каждый вектор принадлежит к дискриминантному подпространству и, более того, . Таким образом, векторы образуют некоторый базис в отличный от канонического

Доказательство. ПИ есть некоторая функция от G от тк, т. е. . Каждая же из величин s, до, тк есть функция вектора V. Дифференцируя G по U и приравнивая производную нулю, получим уравнение, которому необходимо должен удовлетворять вектор, максимизирующий :

где через обозначены соответствующие частные производные. Умножим это уравнение слева на что дает после некоторых преобразований

где

(19.10)

Вектор V является линейной комбинацией векторов каждый из которых принадлежит (предполагаем X центрированным) и, следовательно, сам вектор Теперь покажем, что вектор максимизирующий , принадлежит . Предположим, что это не так, т. е. , где есть -ортогональное дополнение к Подстановка в (19.10) приводит к следующему уравнению:

(19.10)

Вектор в правой части этого равенства принадлежит . С другой стороны, значение только, если т. е. если (это можно проверить непосредственным вычислением производных ). Следовательно, равенство (19.10) верно, если (и тогда не является максимизирующим вектором) или если . Итак, вектор максимизирующий , принадлежит к Аналогично доказывается, что векторы также принадлежат (при условии попарной -ортогональности). Так как и эти векторы -ортогональны, то .

Заметим теперь, что число обычно неизвестно. Однако и в этом случае лемма 19.1 позволяет получить некоторые полезные следствия. Например, если , то первые три вектора позволяют извлечь всю информацию о различиях между компонентами смеси.

Когда же но собственные числа достаточно малы по сравнению с , то по соображениям непрерывности те же самые три вектора извлекают главную часть такой информации. С другой стороны, если все собственные числа примерно одинаковы, безразлично, какие векторы брать для проецирования, лишь бы они принадлежали но это обеспечивается.

Другими словами, если задача поддается визуализации, т. е. имеется проекция размерности на которой компоненты смеси хорошо разделены, то она будет получена с помощью критерия (19.4).

Приведем пример, показывающий, что условие равенства внутрикомпонентных матриц ковариаций является существенным для оценки дискриминантного подпространства на основе максимизации ПИ типа .

Пример 19.2. Рассмотрим двумерное распределение

где

Легко проверить, что X имеет среднее, равное нулю, и единичную ковариационную матрицу. Проекция X на первую координатную ось имеет плотность вида

а на вторую ось

Заметим, что не зависит от не зависит от а, поэтому

1) для любого а существует такое , что для всех та критерий достигает максимума на проекции

2) для любого существует такое , что для всех критерий достигает максимума на проекции

В обоих случаях для выделения кластеров, скажем, по критерию дискриминантного анализа или визуально, предпочтительнее вторая координатная ось. На этой оси расстояние махаланобисского типа между компонентами смеси максимально.

В то же время следует отметить, что проекция на первую координатную ось обладает следующим экстремальным свойством: различие по вторым моментам (отношение дисперсии первого компонента смеси при а ) к дисперсии второго компонента (0 при ) максимально). Таким образом, можно сказать, что в условиях, когда модель смеси с равными ковариационными матрицами неверна, проекции, получаемые из условия максимума критерия, могут быть экстремальными как в отношении неоднородности средних значений компонент, так и в отношении неоднородности дисперсий.

19.3.2. Оценка дискриминантного подпространства на основе моментных индексов.

Использование ЦП на основе критериев вида (19.4) на практике требует значительного объема вычислений. В данном параграфе предлагается простой способ оценки ДП или нескольких векторов на него на основе критериев асимметрии и эксцесса [69].

Полученные таким способом направления проецирования могут использоваться как самостоятельно, так и как Р «хорошие» стартовые точки для определения направлений f проецирования на основе критерия (19.4).

Рассмотрим способ получения векторов, математическое ожидание которых принадлежит не самому ДП, а подпространству . Переход к ДП осуществляется умножением этих векторов на матрицу (Напомним, что величина X предполагается центрированной).

Используя (19.7), (19.8), докажем следующую лемму. Лемма 19.2. Пусть по выборке получены векторы

(19.11)

где S — оценка матрицы ковариаций X; U — произвольный вектор.

Тогда для математических ожиданий векторов (19.11), (19.12) верны соотношения

(19.13)

где константы зависят только от когда

Из (19.13), (19.13) следует, что

Докажем только равенство (19.13) для вектора (19.11). Имеем

(в левой части в квадратных скобках стоит смещенная оценка третьего момента ). Возьмем производную по U от обеих частей этого равенства. Так как дифференцирование — линейная операция, то в левой части равенства его можно провести под знаком оператора усреднения Е, что и дает соотношения (19.13).

Следующая лемма определяет способ получения оценки некоторого вектора из Ям, свободный от произвола в выборе вектора U.

Лемма 19.3. Пусть Н есть некоторая положительно определенная матрица, а

(19.14)

Тогда для вектора

(19.15)

Действительно, пусть вектор U в (19.11) распределен независимо от X с средним 0 и матрицей ковариаций Н. И пусть - оператор усреднения по U. Тогда

Операторы в левой части равенства можно поменять местами, поскольку U и X независимы. Но , что и доказывает лемму 19.3.

19.3.3. Оценка подпространства R.

Пусть теперь — последовательность векторов вида

Вектор задается формулой (19.14). Каждый векторов Предположим, что ранг набора векторов равен тогда верна следующая лемма (дается без доказательства).

Лемма 19.4. Пусть последовательность векторов задается соотношением

где определяется выражения (19.15). Тогда

Поскольку ранг системы векторов равен то подпространство , натянутое на векторы будет являться оценкой для

Хотя в реальной ситуации ранг неизвестен, можно все же построить оценку например, с помощью следующей процедуры.

Пусть — подпространство, натянутое на — угол между Можно показать, что углы векторов и тем более углы должны стремиться к 0. Анализируя последовательность углов можно определить номер начиная с которого они становятся малы, и в качестве оценки для взять