22.4. АДАПТИВНЫЕ АЛГОРИТМЫ КЛАССИФИКАЦИИ В УСЛОВИЯХ НЕПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

2.2.4.1. Метод потенциальных функций.

Пусть наблюдение представлено -мерным вектором Решается задача классификации — принадлежности этого наблюдения одному из двух классов . Если известны плотности а также априорные вероятности принадлежности первому и второму классам, то оптимальной классифицирующей статистикой служит отношение правдоподобия . В условиях непараметрической априорной неопределенности можно попытаться аппроксимировать статистику используя неклассифицированную независимую обучающую выборку из пространства X.

Представим неизвестную статистику отношения правдоподобия в виде разложения по конечному ортонормированному базису

(22.76)

Если ввести потенциальную функцию

(22.77)

то, как показано в [74], подходящей аппроксимацией функции является функция получаем согласно рекуррентному алгоритму

(22.78)

где — числовая последовательность, подчинения условию сходимости к D при . Обозначая через коэффициенты разложения (22.76) на шаге, получаем из (22.78) следующий рекуррентный алгоритм оценивания этих коэффициентов по обучающей выборке:

(22.79)

На первом шаге в качестве нулевого приближения , можно выбрать произвольные константы.

Зависимые обучающие выборки рассмотрены в [75]. Рекуррентным адаптивным алгоритмом, основанным на использовании классифицирующих статистик, посвящена монография [76] (см. также [79]).

22.4.2. Метод оценки классифицирующей статистики.

Пусть — последовательность независимых обучающих векторных (-мерных) выборок, принадлежащих классу . Каждый вектор появляется с вероятностью если и с вероятностью если . Введем дискретную случайную величину принимающую два значения:

(22.80)

Ясно, что

Обозначив

(22.82)

можно объединить обе обучающие последовательности в одну и использовать эту последовательность для аппроксимации классифицирующей статистики [см. (22.76)]. Так как можно воспользоваться методами оценки многомерной плотности вероятности. Примем в качестве аппроксимации ) функцию

(22.83)

где

(22.83 а)

ядро и константы удовлетворяют условиям (14.22а-в) и (14.25 а,б) [см., например, [80]].

Как показано в [77], последовательность

(22.84)

сходится к нулю по вероятности, когда размер обучающей выборки неограниченно возрастает. При этом оценка вероятности ошибки классификации при использовании классифицирующей статистики сходится к вероятности ошибки классификации, соответствующей оптимальному правилу при полной априорной информации.

22.4.3. Правило «ближайших соседей».

Пусть функция непрерывна в точке и последовательность областей с объемами удовлетворяет следующим условиям:

а)

б)

в) число k статистически независимых выборок из распределения с плотностью попадающих в область таково, что при и

П-Ьоо

— состоятельная оценка плотности в точке

При соблюдении указанных условий формулируется следующее правило «ближайших соседей»: если имеется совокупность обучающих независимых выборок о каждой из которых известно, к какому из двух распределений принадлежит выборка, и если среди k обучающих выборок, ближайших к наблюдаемой выборке принадлежит распределению с плотностью — к распределению с плотностью то принимается решение, что наблюдаемая выборка относится к классу с плотностью если

(22.85)

в противном случае. Адаптивное правило (22.85) не требует построения оценок плотностей распределений и является в известном смысле непараметрическим (см., например [78]).