6.4.3. Другие методы оценивания параметров смеси распределений.

Практически каждую из существующих процедур статистического оценивания параметров смеси распределений можно отнести к одному из двух подходов. В первом из них (подход «от оценивания к классификации») - исследователь начинает с решения задачи оценивания параметров смеси ), а затем переходит к собственно задаче классификации (если таковая стоит перед ним), причем решает ее, уже располагая оценками - параметров , каждого из компонентов смеси т. е., по существу, в рамках схемы ДА. К этому подходу относятся, в частности, представленные в п. 6.4.1 и 6.4.2 процедуры, базирующиеся на методе максимального правдоподобия и методе моментов. Практикуется также диаметрально противоположный по своей логической схеме подход (подход «от классификации к оцениванию»), при котором исследователь начинает с разбиения совокупности классифицируемых наблюдений на k подвыборок, а затем использует каждую из полученных подвыборок в качестве выборки из соответствующей генеральной совокупности для оценивания ее параметров после чего уточняет разбиение, и т. д.

К этому подходу можно отнести, в частности, описанный ниже алгоритм адаптивного вероятностного обучения (или «алгоритм SEM: Stochastique—Estimation—Maximisation» ), а также процедуры, базирующиеся на так называемом методе динамических сгущений [303, 302, 316, 106].

Алгоритм адаптивного вероятностного обучения (алгоритм SEM). Впервые предложен и проанализирован в [2021. По существу, авторы используют описанную в п. 6.4.1 схему ЕМ-алгоритмов, дополняя ее байесовской идеологией и этапом вероятностного обучения, которое реализуется в виде специальной процедуры генерирования на ЭВМ случайных последовательностей.

Прием вероятностного обучения с введением априорного распределения оцениваемых параметров использовался и ранее в задачах статистического оценивания, см., например, [314, 172, 310]. Использование алгоритма SEM позволяет в определенном (достаточно широком) классе идентифицируемых смесей решать (в рамках основной процедуры) задачу оценивания неизвестного числа k компонентов смеси (6.6") и добиваться существенного снижения эффекта зависимости получаемого решения от исходной позиции начального приближения параметров алгоритма.

На исходной позиции алгоритма SEM фиксируются: начальное значение. Для неизвестного числа компонентов смеси k (оно должно «с запасом» мажорировать истинное число классов k); некоторое пороговое значение с , зависящее от объема классифицируемой совокупности и от размерности наблюдений X, таким образом, что с при рекомендуется брать с и величины апостериорных вероятностей принадлежности случайно извлеченного из смеси наблюдения соответственно к классу

Далее в следующей хронологической последовательности итерационного взаимодействия реализуются составляющие алгоритм SEM этапы «Stochastique» (статистическое моделирование), «Maximisation» (максимизация функционала метода максинсигьного правдоподобия) и «Estimation» (оценивание параметров смеси).

Статистическое моделирование итерация, Последовательно для каждого с помощью метода статистического моделирования Монте-Карло [11, § 3.3, 6.3] генерируются («разыгрываются») значения

полиномиально распределенных (с параметрами ) случайных величин . При этом производится по одному испытанию для каждой фиксированной пары

Полученные реализации

определяют разбиение анализируемой выборки на классы по следующему правилу:

причем если в какой-либо класс попало в соответствии с этим правилом наблюдений меньше, чем с (т. е. меньше, чем то этот класс изымается (аннулируется) из нашего дальнейшего рассмотрения, а общее число классов соответственно уменьшается (переходят от оценки общего числа классов , где — число таких «малонаселенных» классов). При этом апостериорные вероятности пересчитываются по формулам

где — множество номеров «достаточно представительных» (на итерации) классов и оставшиеся «непристроенными» наблюдения (попавшие в «малонаселенные» классы) снова «разыгрываются» по правилу (6.16), (6.17) с вероятностями и ими таким образом доукомплектовываются достаточно представительных классов.

Максимизация ( итерация). По существу, этот этап так же, как и последующий, посвящен оцениванию параметров: его название обусловлено тем, что для реализации основной части процедуры оценивания приходится максимизировать (по искомому параметру) соответствующие функции правдоподобия.

На этом этапе (в рамках итерации) вычисляются оценки параметров компонентов смеси по выборкам ):

Оценки определяются как решения оптимизационных задач вида

(некоторые вспомогательные приемы в случае, когда урав-; пения метода максимального правдоподобия не дают рещення, рассмотрены в [302, 2121).

Отметим, что если математические ожидания и (или) ковариационные матрицы полностью определяют распределения внутри класса, (случай смесей нормальных, пуассоновских, экспоненциальных и других распределений), то очередная итерация оценок максимального правдоподобия имеет вид

Оценивание (-итерацня). Отправляясь от найденных на предыдущем этапе оценок

определяем значения оценок апостериорных вероятностей по формулам

после чего переходим к следующей итерации этапа «статистическое моделирование».

Свойства алгоритма SEM исследованы в [202] аналитически в простейшем (представляющем лишь методический интерес) случае смеси, состоящей из двух полностью известных распределений , так что неизвестным параметром задачи является лишь единственное число - удельный вес первого компонента смеси (априорная вероятность принадлежности наблюдения, случайно извлеченного из смеси, к классу 1).

Правда, с помощью метода статистического моделирования авторы [202] рассмотрели большое число модельных примеров смеси 1 и пришли к выводу, что алгоритм SEM расщепления смеси распределений типа (6.6”) обладает следующими преимуществами в сравнении с другими алгоритмами: а) он работает относительно быстро и его результаты практически не зависят от «исходной точки»; б) позволяет избегать выхода на неустойчивые локальные максимумы анализируемой функции правдоподобия и, более того, дает, как правило, глобальный экстремум этой функции; в) получаемые при этом оценки параметров смеси являются асимптотически несмещенными; г) позволяет оценивать (в рамках самой процедуры) неизвестное число классов (компонентов смеси).

Пример 6.7. Расщепление смеси пятимерных нормальных распределений с помощью алгоритма метод статистического моделирования). Зададимся в качестве компонентов смеси тремя пятимерными нормальными распределениями с удельными весами (априорными вероятностями) с векторами средних значений

и с ковариационными матрицами

Генерируем на ЭВМ с помощью метода статистического моделирования [11, п. 6.3.3] выборку из 400 наблюдений (), извлеченную из генеральной совокупности с плотностью распределения вероятностей

где — плотность пятимерного нормального распределения с вектором средних значений и ковариационной матрицей («значения» для заданы выше).

Заметим, что оценка векторов средних и ковариационных матриц по той части сгенерированных наблюдений, которая принадлежит генеральной совокупности, дает (в качестве эмпирических аналогов заданных теоретических значений ):

Применение к «перемешанной» (сгенерированной на ЭВМ) выборке объема алгоритма SEM (при и для всех дает следующие оценки параметров смеси:

Наконец, классификация анализируемых 400 наблюдений, произведенная на последней итерации этапа «Статистическое моделирование» (доставляющей, кстати, наибольшее значение исследуемой функции правдоподобия), дает следующую картину «перекрестной» классификации в сравнении с исходным (правильным) отнесением сгенерированных наблюдений по составляющим генеральным совокупностям (табл. 6.2):

Таблица 6.2

Таким образом, в данном примере доля неправильно расклассифицированных с помощью алгоритма SEM наблюдений составила 6,75% (27 наблюдений из 400). Этот результат так же, как и точность оценивания параметров смеси, можно признать вполне удовлетворительным.