6.1.4. Обобщение на случай многомерной плотности вероятности.

Предыдущие рассуждения легко обобщаются на многомерный случай. Подробное рассмотрение этого случая можно найти в [Какулос, 1966]. Различие заключается только в том, что вместо числа используется

Оценка определяется следующим образом:

В общем случае можно представить в виде

Оценка (6.36) получается из (6.37), если без существенного ограничения общности положить Условиям (6.8) - (6.13) соответствуют следующие условия, накладываемые

Если эти условия выполняются, оценка является асимптотически несмещенной и состоятельной оценкой плотности роятности в точках непрерывности

Хотя каждому одномерному ядру из табл. 6.1 можно поста вить в соответствие многомерное ядро, мы ограничимся здесь рассмотрением ядра, имеющего вид нормального распределения. Это ядро определяется следующим образом:

Так как X заданы, то параметрами, которые необходимо определить для этого ядра, являются ковариационная матрица Параметр может быть произвольной функцией но для упрощения выкладок мы выберем следующим образом:

Для того чтобы выполнялись условия (6.42), (6.43) и (6.44), к должно удовлетворять следующим ограничениям:

Выбор ковариационной матрицы не влияет на асимптотические свойства оценки, но он важен, так как от зтого выбора зависит качество аппроксимации, получаемой при предъявлении конечного числа объектов. Некоторые критерии, такие как минимум

смещения или дисперсии для конечного числа могут быть основой для нахождения оптимальной ковариационной матрицы

2. Однако эта задача оказывается очень сложной, и в настоящее время неизвестно, как выбрать 2 для данного множества объектов.

Интуитивпый ответ на этот вопрос состоит в том, чтобы в качестве 2 использовать выборочную ковариационную матрицу дапньтх объектов. При таком выборе 2 ковариационная матрица оценки Парзена оказывается пропорциональной выборочной ковариационной матрице

Поэтому можно утверждать, что статистические свойства оценки подобны свойствам выборочного распределения вплоть до второго момента, даже когда не очень мало (т. е. при относительно небольших N).

Возможна и другая процедура выбора 2, при которой вначале производится декорреляция данных, а затем в качестве 2 берется единичная матрица.

Математически обе процедуры эквивалентны, но когда оцениваемые плотности вероятности используются для некоторых других целей, например, для построения классификатора и т. второй метод может значительно сократить объем вычислений. На рис. 6.2 показан пример для двумерного случая.

Рис. 6.2. Выбор ядра. а) Исходное распределение; б) после декорреляции.

В качестве примера рассмотрим применение метода Парзена для оценки вероятности ошибки в непараметрическом случае. Как было показано в гл. 5, верхнюю и нижнюю границы вероятности ошибки можно получить соответственно с помощью метода исключения одного объекта и С-метода.

Байесовский критерий для объекта при наличии в классе объектов и в классе объектов можно записать следующим образом:

Проверку по критерию производят для каждого из объектов, и число неправильно классифицированных объектов принимают в качестве оценки вероятности ошибки. Для оценивания плотности вероятности воспользуемся оценкой Парзена.

В С-методе используют все объектов для оценивания соответственно При использовании нормальных ядер (6.45) с ковариационными матрицами и соответственно для классов байесовский критерий (6.50) принимает вид

где — соответственно объекты из классов методе исключения одного объекта для проверки гипотезы используют объектов (исключая по которым: оценивают Поэтому левая часть байесовского критерия (6.51) заменяется выражением

Когда объект правая часть байесовского критерия (6.51) должна быть аналогично изменена.

Вычисление вероятности ошибки для пепараметрическога случая является трудоемким делом в основном потому, что нужно вычислить все пары расстояний

Пример 6.1. Приведенный выше метод применялся для объектов, которые генерировались в соответствии со стандартными данными Вначале для того, чтобы оценить влияние величины параметра к на оценку вероятности ошибки, был проведен эксперимент со 100 объектами в каждом классе, при (эти значения к удовлетворяют условию

Результаты приведены в табл. 6.2. Хотя некоторый разброд по качеству классификации имеется, он не столь велик, чтобы

рассматривать выбор к как дело особой важности. Поэтому и дальнейших экспериментах было принято к качества исходного материала было генерировано по двадцать множеств объектов для каждого размера выборки и

Таблица 6.2. Влияние параметра к

Таблица 6.3. Влияние количества обьектов

Полученные вероятности ошибок приведены в табл. 6.3. Заметим, что истинная вероятность ошибки, как следует из табл. 3.3, равна 1,9%.