6.4. Процедуры оценивания параметров модели смеси распределений

Итак, из § 6.2 известно, что задача автоматической классификации многомерных наблюдений (6.7), решаемая в рамках модели смеси распределений вида может быть сведена к обычной схеме дискриминантного анализа: необходимым предварительным этапом этой редукции является процесс статистического оценивания по выборке (6.7) (которую будем полагать в дальнейшем случайной, состоящей из независимых наблюдений многомерного признака X с законом распределения неизвестных параметров

Во всем дальнейшем изложении материала данной главы предполагается, что анализируемая смесь идентифицируема (различима).

И в теоретико-методическом, и в вычислительном плане проблема построения и анализа свойств процедур оценивания параметров смесей вида (6.6") по выборке (6.7) является весьма сложной. Одна из главных трудностей связана с оцениванием целочисленного параметра k — числа компонентов (или числа классов) анализируемой смеси. Во всех описываемых ниже процедурах (кроме процедуры SEM) схема оценивания строится таким образом, что вначале заготавливаются оценки параметров для последовательности фиксированных значений , где К — некоторая гарантированная мажоранта для возможного числа классов), а затем с помощью того или иного приема подбирается «наилучшее» значение k в качестве оценки для не известного нам истинного числа классов .

6.4.1. Процедуры, базирующиеся на методе максимального правдоподобия.

В данном пункте речь идет о процедурах, позволяющих находить максимум (по параметрам фиксированном k) определяемой с помощью соотношения (6.6) логарифмической функции правдоподобия (о функции правдоподобия см. [11, § 8.2]), т. е. о решении оптимизационной задачи вида

Наиболее работоспособная общая схема построения процедур, позволяющих находить решения задачи (6.8), была впервые, по-видимому, предложена в работах [166, 209, 210], а затем развита в [333, 212, 254, 295] и др. Конкретные алгоритмы, построенные по этой схеме, часто называют алгоритмами типа ЕМ, поскольку в каждом из них можно выделить два этапа, находящихся по отношению друг к другу в последовательности итерационного взаимодействия: оценивание (Estimation) и максимизация (Maximisation).

Общая схема построения процедур и их некоторые свойства. Введем в рассмотрение так называемые апостериорные вероятности принадлежности наблюдения классу:

Очевидно, для всех . Затем обозначим и представим анализируемую логарифмическую функцию правдоподобия

(справедливость этого тождества легко проверяется с учетом (6.9) и того, что

Далее идея построения итерационного алгоритма вычисления оценок для параметров состоит в том, что, отправляясь от некоторого начального приближения 0°, вычисляют (по формулам (6.9)) начальные приближения для апостериорных вероятностей (этап оценивания), а затем, возвращаясь к (6.10), при вычисленных значениях определяют значения из условия максимизации отдельно каждого из первых двух слагаемых правой части (6.10) (этап максимизации), поскольку первое слагаемое зависит только от параметров , а второе слагаемое зависит только от параметров

Очевидно, решение оптимизационной задачи

дается выражением (с учетом )

здесь t — номер итерации,

Решение оптимизационной задачи

получить намного проще решения задачи (6.8): выражение для записывается с учетом знания конкретного вида функций . Ниже приведены выражения для (при заданных ) для случая нормальных плотностей

В той же работе М. И. Шлезингера, где эта схема (позднее названная ЕМ-схемой) впервые предложена [166], установлены и основные свойства реализующих ее алгоритмов (позднее в работах [334, 197, 295, 222] эти свойства были передоказаны и частично развиты). В частности, было доказано, что при достаточно широких предположениях (наиболее неприятным, жестким из них является требование ограниченности логарифмической функции правдоподобия, которое, правда, было неправомерно опущено в формулировках [166]) предельные точки всякой последовательности, порожденной итерациями -алгоритма, являются стационарными точками оптимизируемой логарифмической функции правдоподобия и что найдется неподвижная точка алгоритма, к которой будет сходиться каждая из таких последовательностей. Если дополнительно потребовать положительной определенности информационной матрицы Фишера для при истинных значениях параметра , § 8.2], то можно показать [295], что асимптотически по (т. е. при больших выборках ) существует единственное сходящееся (по вероятности) решение уравнений метода максимального правдоподобия и, кроме того, существует в пространстве параметров 0 норма, в которой последовательность , порожденная -алгоритмом, сходится к , если только начальная аппроксимация не была слишком далека от .

Таким образом, результаты исследования свойств -алгоритмов метода максимального правдоподобия расщепления смеси и их практическое использование показали, что они являются достаточно работоспособными (при известном числе компонентов смеси) даже при большом числе k компонентов и при высоких размерностях анализируемого признака X.

Основными «узкими местами» этого подхода являются: необходимость предъявления требования ограниченности к анализируемой функции правдоподобия , высокая сложность и трудоемкость процесса вычислительной реализации соответствующих процедур и медленная сходимость порождаемых ими итерационных процессов.

Смеси нормальных классов. Продолжим исследование задачи статистического оценивания параметров смеси (6.6"), состоящей из известного числа k классов. Дополнительно постулируем при этом, что каждый объект X класса j представляет собой элемент нормальной генеральной совокупности , где векторы средних а; различны для разных классов, а ковариационные параметры совпадают, но неизвестны компоненты ни ни . Кроме того, неизвестны априорные вероятности классов

Легко проверить [210], что в этом случае

где

Учитывая описанную выше схему ЕМ-алгоритма, следует определить процедуру, которая максимизировала бы

по а и , или, учитывая, что в данном случае определить процедуру, которая максимизировала бы

при условии, что каким-либо способом уже получены. Эта процедура даст величины для шага и данным

Два последующих утверждения определяют точку максимума для и в итерационной процедуре, построенной по схеме ЕМ-алгоритма.

Для простоты их формулировки будем опускать индекс t, подчеркивающий связь с шагом процедуры. Напомним, что последовательность такова, что

Утверждение 1. Пусть — определенная выше последовательность и — -мерные нормальные плотности, такие, что . Тогда для любых вектор-столбцов величины достигают максимума при

Утверждение 2. Пусть — определенная выше последовательность и — -мерные нормальные плотности, такие, что . Тогда для любых вектор-столбцов величина достигает максимума при

и

Доказательство этих утверждений опирается на леммы 3.2.1 и 3.2.2 из [16].

Таким образом, при заданных

где

величины

и

максимизируют

Далее легко получить, что

и

Если существуют пределы

то точка является точкой максимума функции правдоподобия (возможно, правда, что этот максимум является локальным).

Легко видеть, что в качестве начальных данных можно задать не точку а набор величин , с помощью которых можно получить g и т. д. Именно такая итерационная процедура предлагается в работе [210].

Замечание. Точки, для которых , являются неподвижными точками итерационной процедуры, но представляют собой посторонние точки, так как в этом случае

В случае двух классов , как показано в [203], процедура сильно упрощается. Для произвольных , имеем

Далее определяются уточнения следующим образом:

где

Подставляя вместо , можно итерационную процедуру продолжить до тех пор, пока значения не перестанут изменяться. Далее, после того как значения а и Р установятся, можно определить оценку ковариационной матрицы

Естественно точку X отнести к классу 1, если т. е. если Отсюда следует, что X; будет отнесена к классу 1, если , или к классу 2, если Следовательно, будет оценкой разделяющей поверхности классов 1 и 2, а — оценками параметров разделяющей поверхности (см. гл. 2,3).

Основные трудности этого метода классификации состоят в том, что скорость сходимости итерационного процесса зависит от расстояния Махаланобиса между классами (см. гл. 1) и от начальных значений искомых параметров. Более того, может быть несколько локальных максимумов и требуется, изменяя начальные данные, определить абсолютный максимум.

Грубо говоря, итерационный процесс сходится к абсолютному максимуму (при из точек если угол между а и менее 45°. Это ясно показывает возрастание трудностей при росте размерности. Если точка выбрана случайно, то вероятность выполнения этого условия при равна 0,076, при , при при . Поэтому при больших размерностях наблюдений желательно предварительно эту размерность снизить (например, методом главных компонент; см. раздел III).

Пример 6.5. Неограниченная функция правдоподобия. Рассмотрим простейший случай, когда число классов и наблюдаемые величины являются одномерными . Плотность распределения смеси

где являются неизвестными параметрами

В этом случае функция правдоподобия запишется

Рассмотрим поведение как функции от . Если то является ограниченной функцией, так как

для любых Если же то стремится к бесконечности как ) при Однако, учитывая конечность предела при , получаем, что при функция стремится к бесконечности, как для любого и любых чего не происходит при так как при

Таким образом, любой набор обращает в бесконечность функцию правдоподобия.

Обобщение примера на многомерные смеси нормальных классов не представляет труда. Для этого достаточно рассмотреть случай, когда компоненты наблюдений какого-либо класса линейно зависимы, т. е. при

Пример показывает, что возможны ситуации, когда не выполняются условия сходимости итерационной процедуры ЕМ-алгоритма к оценкам максимального правдоподобия.

Оценивание числа компонентов (классов) в модели смеси распределений. До сих пор, описывая процедуру статистического оценивания неизвестных значений параметров в модели смеси, предполагали число k компонентов (классов) в правой части модели заданным. Однако в реальных задачах часто общее число искомых классов неизвестно, и, следовательно, параметр k приходится также оценивать по тем же исходным данным (6.7).

С этой целью воспользуемся тем, что для ряда последовательных значений выше уже решены оптимизационные задачи вида (6.8), т. е. вычислены такие значения параметров при которых соответствующие логарифмические функции правдоподобия достигают максимума, т. е. при каждом фиксированном значении k имеем

Воспользуемся известным асимптотическим результатом (см., например, 1157, § 13.81), в соответствии с которым статистика критерия отношения правдоподобия

при условии справедливости гипотезы «истинное число компонентов смеси равно и при некоторых условиях регулярности функции имеет распределение, сходящееся (при ) к распределению с числом степеней свободы, равным — размерность параметра , от которого зависит функция, задающая компонент смеси, а — разность размерностей параметров ) и Процедуру построения оценки k для нензвестного числа классов k определим следующим образом: задавшись некоторой величиной а уровня значимости критерия, производим последовательную (по ) проверку гипотезы при альтернативе с помощью статистики (6.14) (гипотеза отвергается, если величина (6.14) оказывается большей — процентной точки -распределения с степенью свободы); величину k, при которой гипотеза впервые оказалась неотвергнутой, принимаем за оценку истинного числа классов.

В [119] приводится результат, в соответствии с которым построенная таким образом оценка дает при постоянных значениях уровня значимости а несколько завышенные величины числа классов, а именно имеет распределение (при истинном числе классов ):

Нетрудно подсчитать асимптотическую (по ) величину среднего значения оценки

Поэтому, если несколько модифицировать вышеописанную процедуру, выбирая в качестве уровней значимости критериев проверки гипотез последовательности которых зависят от объема классифицируемых выборок и стремятся к нулю при можно добиться асимптотической несмещенности и состоятельности оценок .

Другие полезные приемы подбора подходящих значений неизвестного числа классов k основаны на различных методах разведочного статистического анализа, в частности на предварительной визуализации классифицируемых многомерных данных, папример, с помощью процедур целенаправленного проецирования (см раздел IV).