Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
6.4. Процедуры оценивания параметров модели смеси распределенийИтак, из § 6.2 известно, что задача автоматической классификации многомерных наблюдений (6.7), решаемая в рамках модели смеси распределений вида Во всем дальнейшем изложении материала данной главы предполагается, что анализируемая смесь идентифицируема (различима). И в теоретико-методическом, и в вычислительном плане проблема построения и анализа свойств процедур оценивания параметров смесей вида (6.6") по выборке (6.7) является весьма сложной. Одна из главных трудностей связана с оцениванием целочисленного параметра k — числа компонентов (или числа классов) анализируемой смеси. Во всех описываемых ниже процедурах (кроме процедуры SEM) схема оценивания строится таким образом, что вначале заготавливаются оценки параметров 6.4.1. Процедуры, базирующиеся на методе максимального правдоподобия.В данном пункте речь идет о процедурах, позволяющих находить максимум (по параметрам
Наиболее работоспособная общая схема построения процедур, позволяющих находить решения задачи (6.8), была впервые, по-видимому, предложена в работах [166, 209, 210], а затем развита в [333, 212, 254, 295] и др. Конкретные алгоритмы, построенные по этой схеме, часто называют алгоритмами типа ЕМ, поскольку в каждом из них можно выделить два этапа, находящихся по отношению друг к другу в последовательности итерационного взаимодействия: оценивание (Estimation) и максимизация (Maximisation). Общая схема построения процедур и их некоторые свойства. Введем в рассмотрение так называемые апостериорные вероятности
Очевидно,
(справедливость этого тождества легко проверяется с учетом (6.9) и того, что Далее идея построения итерационного алгоритма вычисления оценок Очевидно, решение оптимизационной задачи
дается выражением (с учетом
здесь t — номер итерации, Решение оптимизационной задачи
получить намного проще решения задачи (6.8): выражение для В той же работе М. И. Шлезингера, где эта схема (позднее названная ЕМ-схемой) впервые предложена [166], установлены и основные свойства реализующих ее алгоритмов (позднее в работах [334, 197, 295, 222] эти свойства были передоказаны и частично развиты). В частности, было доказано, что при достаточно широких предположениях (наиболее неприятным, жестким из них является требование ограниченности логарифмической функции правдоподобия, которое, правда, было неправомерно опущено в формулировках [166]) предельные точки всякой последовательности, порожденной итерациями Таким образом, результаты исследования свойств Основными «узкими местами» этого подхода являются: необходимость предъявления требования ограниченности к анализируемой функции правдоподобия Смеси нормальных классов. Продолжим исследование задачи статистического оценивания параметров Легко проверить [210], что в этом случае
где
Учитывая описанную выше схему ЕМ-алгоритма, следует определить процедуру, которая максимизировала бы
по а и
при условии, что Два последующих утверждения определяют точку максимума для Для простоты их формулировки будем опускать индекс t, подчеркивающий связь с шагом процедуры. Напомним, что последовательность
Утверждение 1. Пусть
Утверждение 2. Пусть
и
Доказательство этих утверждений опирается на леммы 3.2.1 и 3.2.2 из [16]. Таким образом, при заданных
где
величины
и
максимизируют Далее легко получить, что
и
Если существуют пределы
то точка Легко видеть, что в качестве начальных данных можно задать не точку Замечание. Точки, для которых В случае двух классов
Далее определяются уточнения
где
Подставляя
Естественно точку X отнести к классу 1, если Основные трудности этого метода классификации состоят в том, что скорость сходимости итерационного процесса зависит от расстояния Махаланобиса Грубо говоря, итерационный процесс сходится к абсолютному максимуму Пример 6.5. Неограниченная функция правдоподобия. Рассмотрим простейший случай, когда число классов
где В этом случае функция правдоподобия запишется
Рассмотрим поведение
для любых
Таким образом, любой набор Обобщение примера на многомерные смеси нормальных классов не представляет труда. Для этого достаточно рассмотреть случай, когда компоненты наблюдений Пример показывает, что возможны ситуации, когда не выполняются условия сходимости итерационной процедуры ЕМ-алгоритма к оценкам максимального правдоподобия. Оценивание числа компонентов (классов) в модели смеси распределений. До сих пор, описывая процедуру статистического оценивания неизвестных значений параметров в модели смеси, предполагали число k компонентов (классов) в правой части модели С этой целью воспользуемся тем, что для ряда последовательных значений
Воспользуемся известным асимптотическим результатом (см., например, 1157, § 13.81), в соответствии с которым статистика критерия отношения правдоподобия
при условии справедливости гипотезы В [119] приводится результат, в соответствии с которым построенная таким образом оценка
Нетрудно подсчитать асимптотическую (по
Поэтому, если несколько модифицировать вышеописанную процедуру, выбирая в качестве уровней значимости критериев проверки гипотез Другие полезные приемы подбора подходящих значений неизвестного числа классов k основаны на различных методах разведочного статистического анализа, в частности на предварительной визуализации классифицируемых многомерных данных, папример, с помощью процедур целенаправленного проецирования (см раздел IV).
|
1 |
Оглавление
|