3.2. Оценивание отношения правдоподобия

3.2.1. Параметрическое и полупараметрическое оценивание неизвестных плотностей.

В том случае, когда на основании априорной информации или предварительного анализа данных можно предположить аналитический вид плотностей распределений в классах, надо использовать обычные подстановочные алгоритмы, следя при этом за тем, чтобы там, где неизвестные параметры в распределениях предполагаются равными, подставлялись одни и те же оценки (см. § 2.3). Ниже разбирается случай полупараметрического оценивания.

Предположим, что имеются два класса с законами распределения , где означает класс распределений, трансформируемых к многомерным нормальным (см. п. 1.1.5), для — вектор-функция непрерывных одномерных распределений координат — положительно определенная матрица. Общая стратегия решения задачи классификации следующая: для каждого класса построить гладкие оценки плотностей оценить далее с помощью формулы (1.35) оценить и рассмотреть критерий отношения правдоподобия вида . Если при постановке задачи сделаны дополнительные предположения, то использовать их при оценке

Оценивание где это ясно из контекста, индексы i и j будем в дальнейшем опускать. Назовем а-квантилем вариационного ряда эмпирического распределения координаты в выборке из совокупности величины

где — целая часть .

Выберем теперь число

и построим последовательность где для

Положим теперь

В качестве оценок возьмем

где для -ранговый номер в вариационном ряду значений координаты в выборке из класса. Заменим в формуле (1.35) неизвестные параметры их оценками и построим оценку отношения правдоподобия.

Если дополнительно предположить, что то при оценке плотностей надо использовать объединенную оценку

Если дополнительно предположить еще, что

где — неизвестный вектор (см. п. 1.1.5), то после преобразования координат получаем модель Фишера.

В этом случае -объединенную функцию преобразования к нормально распределенным величинам можно найти путем итерационного решения системы уравнений

3.2.2. Непараметрическое оценивание плотностей.

В случае, когда сделать предположение об аналитическом виде нельзя, делают предположение о гладкости и оценивают у (X) как отношение непараметрических оценок плотностей

где — норма элемента Z, b — малый параметр; функция, удовлетворяющая следующим условиям: . В качестве обычно берут плотность нормального закона с параметрами (0,1). Наряду с формулой (3.10) широко используется оценка

получившая название оценки Парзена. Часто для упрощения проводится предварительная покоординатная нормализация переменных, чтобы они имели одну и ту же меру разброса, и b выбираются равными [132].

Для оценок (3.10) и (3.11) ключевым является выбор параметров Его естественно связать с какой-либо мерой качества классификации (см. п. 1.3.4) аналогично тому, как для задачи регрессии это сделано в [12, § 10.1]. На практике оценки Парзена работают хорошо. Их существенные недостатки: необходимость запоминания всей обучающей последовательности и высокая чувствительность метода к непредставительности обучающей выборки.

В [198] для распределений, несколько похожих на многомерные нормальные, рекомендуется следующая эвристическая приближенная процедура, основанная на рангах. Для каждой из координат строится вариационный ряд из значений [11, п. 5.6.4]. Исходная величина заменяется на ее номер в вариационном ряду. Если в вариационном ряду были связи, т. е. и равняется среднему рангу в вариационном ряду. Далее рассматриваются как выборки из многомерных нормальных совокупностей и классификация проводится по одному из правил для многомерных нормальных распределений. Сравнения этой рекомендации с изложенным в предыдущем пункте подходом с -нормальными распределениями не проводилось. Однако последний нам кажется более логичным.

3.2.3. Прямое оценивание отношения правдоподобия.

Часто аналитический вид плотностей неизвестен, но известен с точностью до неизвестных параметров аналитический вид отношения правдоподобия. Так, в частности, будет, если в модели Фишера каждое из наблюдений обучающей выборки удаляется или остается в выборке независимо от других наблюдений с вероятностью, зависящей только от значения X. В этом частном случае

где — плотность многомерного нормального закона; — некоторая неизвестная положительная функция, вообще говоря, зависящая от . Несмотря на то что (3.12) может заметно отличаться от плотности нормального закона, отношение правдоподобия по-прежнему остается линейной функцией X:

Условная вероятность гипотезы Ну, когда дано наблюдение X, легко выражается через h (X):

В частном случае, когда — линейная, как в (3.13), функция от X

где . Функция, стоящая в правой части (3.15), называется логистической.

Предполагая, что имеет место (3.15), можно воспользоваться соотношением (3.14) для того, чтобы найти неизвестные параметры и . Для этого воспользуемся методом условного максимального правдоподобия:

где

При условии, что имеет место модель Фишера, метод условного максимального правдоподобия использует не всю информацию, содержащуюся в обучающей выборке. Однако, как показывает теоретическое исследование проигрыш в эффективности для близких совокупностей незначителен.

В случае, если на обучающей выборке совокупности могут быть отделены друг от друга некоторой плоскостью, максимальное значение равно бесконечности и решение уравнения (3.16) не единственно. Тогда надо просто найти соответствующую плоскость, например с помощью метода потенциальных функций (см. п. 1.3.3). Рекомендации, как действовать в случаях, когда при некоторых значениях аргумента можно найти в [175].

3.2.4. Непараметрическое оценивание отношения правдоподобия.

Наиболее известен здесь метод -ближайших соседей», предложенный в работе [225]. Он состоит в следующем:

1) в пространстве наблюдений вводится расстояние между произвольными точками

2) в зависимости от объема обучающей выборки и предположений о гладкости плотностей распределения классифицируемых совокупностей выбирается нечетное

3) вокруг классифицируемой точки Z строится сфера наименьшего радиуса , содержащая не менее k точек из обучающей последовательности;

4) точка Z относится к той совокупности, к которой принадлежит большинство точек из обучающей выборки, попавших в

Конечно вместо сфер можно было бы брать области более общего вида. Например, фиксировать какую-либо окрестность нуля U ограниченного диаметра и рассматривать системы окрестностей вида где — произвольное положительное число.

Некоторые теоретические вопросы, связанные с изложенным методом, обсуждаются в [108].

3.2.5. Локальная линейная аппроксимация отношения правдоподобия.

В [12, п. 10.1.4 и § 10.2] видим, что в регрессионных задачах эффективным оказывается использование локальных параметрических описаний регрессии. По сравнению с традиционным непараметрическим подходом оно в меньшей степени зависит от особенностей обучающих выборок и позволяет получить более полное описание регрессионной поверхности. Аналогично и в задаче классификации. Пусть — произвольная точка, тогда правдоподобно, что в достаточно широкой ее окрестности приближенно выполняется соотношение

Оценка параметров этой модели на позволяет не только провести классификацию нового наблюдения в точке по значениям и отношению , где — доля наблюдений в обучающей выборке из совокупности в окрестности но и получить описание отношения правдоподобия в окрестности