4.3. ПАРЗЕНОВСКИЕ ОКНА

4.3.1. ОБЩИЕ СООБРАЖЕНИЯ

Знакомство с методом оценки плотностей распределения с помощью парзеновского окна можно начать с временного предположения о том, что область является -мерным гиперкубом. Если есть длина ребра этого гиперкуба, то его объем задаётся как

Аналитическое выражение для количества выборок, попадающих в этот гиперкуб, — можем получить, определяя следующую функцию окна:

Таким образом, определяет единичный гиперкуб с центром в начале координат. Отсюда следует, что равняется единице, если находится в гиперкубе объема с центром в х, или нулю в любом другом случае. Следовательно, количество выборок в этом гиперкубе задается выражением

Подставляя его в (5), получаем оценку

Это соотношение предполагает более общий подход к оценке плотности распределения. Не ограничиваясь функцией окна гиперкуба, данной формулой (7), допускаем более общий класс функций окна. Тогда соотношение (8) выражает нашу оценку как среднее значение функций от х и выборок По существу, функция окна используется для интерполяции, причем каждая выборка влияет на оценку в зависимости от ее расстояния до х.

Хотелось бы, чтобы оценка была законной плотностью распределения, т. е. неотрицательной, С интегралом, равным единице. Это можно гарантировать, требуя, чтобы функция окна была

законной плотностью распределения. Точнее, если мы потребуем, чтобы

и

и если мы сохраняем отношение , то отсюда сразу же следует что и также удовлетворяет этим условиям.

Рассмотрим, какое влияние оказывает на ширина окна . Если мы определяем функцию как

то можем записать в виде среднего

Поскольку то влияет как на амплитуду, так и на ширину окна . Если очень велика, то амплитуда мала, и х должно находиться достаточно далеко от пока не станет значительно отличаться от . В этом случае есть наложение широких, медленно меняющихся функций и служит очень сглаженной «несфокусированной» оценкой . С другой стороны, если очень мала, то максимальное значение велико и находится вблизи от . В этом случае есть наложение резких выбросов с центрами в выборках и является ошибочной «зашумленной» оценкой функции Для любого значения справедливо выражение

Таким образом, по мере устремления к нулю стремится к дельта-функции Дирака, центрированной в стремится к наложению дельта-функций, центрированных в выборках.

Ясно, что выбор значения сильно сказывается на . Если объем слишком велик, оценка будет плохой из-за слишком малой разрешающей способности. Если слишком мал, оценка будет плохой в результате слишком большого статистического разброса. При ограниченном количестве выборок самое лучшее решение — пойти на приемлемый компромисс. При неограниченном же количестве выборок можно позволить медленно стремиться к нулю по мере увеличения и заставить сойтись к неизвестной плотности распределения

Говоря о сходимости, мы должны сознавать, что речь идет о сходимости последовательности случайных величин, так как для любого фиксированного х значение зависит от значений

случайных выборок . Таким образом, имеет некоторое среднее и некоторую дисперсию . Будем говорить, что оценка сходится к

Чтобы доказать сходимость, нужно наложить условия на неизвестную плотность распределения функцию окна и ширину окна Обычно требуется, чтобы была непрерывной в х и чтобы выполнялись условия (9) и (10). Можно доказать, что сходимость обеспечивается при следующих дополнительных условиях:

и

Выражения (16) и (17) способствуют хорошему поведению и этим условиям удовлетворяет большинство плотностей распределения, которые можно взять для функций окна. Уравнения (18) и (19) говорят о том, что объем должен стремиться к нулю, но со скоростью, меньшей чем Рассмотрим теперь, почему эти условия — основные условия, обеспечивающие сходимость.

4.3.2. СХОДИМОСТЬ СРЕДНЕГО ЗНАЧЕНИЯ

Сначала рассмотрим — среднее значение Поскольку выборки распределены равномерно в соответствии с (неизвестной) плотностью распределения , имеем

Это уравнение показывает, что ожидаемое значение оценки есть усредненное значение неизвестной плотности распределения, свертка неизвестной плотности распределения и функции окна. Таким образом, является сглаженным вариантом для видимым через усредняющее окно. Но с устремлением к нулю стремится к дельта-функции с центром в х. Так что если непрерывна в х, то уравнение (18) гарантирует, что будет приближаться к по мере устремления к бесконечности

4.3.3. СХОДИМОСТЬ ДИСПЕРСИИ

Уравнение (20) показывает, что для того, чтобы заставить устремиться к не нужно иметь бесконечное число выборок; при любом достаточно только устремить к нулю. Конечно, для конкретного множества выборок получающаяся оценка, имеющая всплески, будет бесполезной. Этот факт подчеркивает необходимость рассмотрения дисперсии оценки. Поскольку является суммой функций статистически независимых случайных величин, ее дисперсия является суммой дисперсий отдельных членов, и отсюда имеем

Опуская второй член, ограничивающий , и используя (20), получаем

Ясно, что для получения небольшой дисперсии нам нужно большое, а не малое значение Однако, поскольку числитель остается конечным при стремлении к бесконечности, мы можем позволить стремиться к нулю и все же получать нулевую дисперсию при условии, что стремится к бесконечности. Например, мы можем взять , или , или любую другую функцию, удовлетворяющую соотношениям (18) и (19).

Это основной теоретический вывод. Но, к сожалению, он ничего не говорит о том, как выбирать чтобы получить хорошие

результаты в случае с конечным числом выборок. Действительно, если у нас не будет другой информации о помимо той, что она непрерывна, у нас не будет никакого основания для оптимизации результатов при конечном числе выборок.

4.3.4. ДВА ПРИМЕРА

Интересно проследить, как метод парзеновского окна проявляется на простых примерах. Рассмотрим сначала случай, где является одномерной нормальной плотностью распределения с нулевым средним значением и дисперсией, равной единице. Пусть функция окна будет иметь тот же вид:

И наконец, пусть , где — параметр, находящийся в нашем распоряжении. Таким образом, есть среднее нормальных плотностей распределения, центрированных в выборках:

Нетрудно из соотношений (20) и (21) найти выражения среднего значения и дисперсии для , но еще интереснее увидеть численные результаты. На рис. 4.1 показаны результаты, полученные при вычислении с помощью конкретно выбранного множества нормально распределенных случайных выборок. Эти результаты зависят от пики Для функция будет просто единственным холмом гауссовского распределения с центром в первой выборке. Для влияние отдельных выборок ясно различимо, а для - нет. По мере увеличения способность отражать особенности возрастает. При этом оказывается более чувствительной к локальным нерегулярностям выборок, когда велико, хотя мы уверены, что будет сходиться к сглаженной нормальной кривой по мере устремления к бесконечности. Ясно, что нельзя судить по одному внешнему виду и что для получения точной оценки требуется много выборок.

В качестве другого примера пусть будут такими же, а неизвестная плотность распределения пусть будет смесью двух однородных плотностей

На рис. 4.2 показано поведение оценок этой плотности, полученных методом парзеновского окна.

(см. скан)

Рис. 4.1. Оценка нормальной плотности распределения методом парзеновского окна

(см. скан)

Рис. 4.2. Оценка бимодальной плотности распределения методом парзеновского окна.

Как и прежде, случай с говорит больше о функции окна, чем о неизвестной плотности распределения. Для ни одна из оценок не годится, а вот для результаты уже кажутся приемлемыми.

Эти примеры показывают некоторые достоинства и некоторую ограниченность непараметрическйх методов. Достоинства заключаются в их общности. Одна и та же процедура использовалась для унимодального нормального и бимодального смешанного случаев. При достаточном количестве выборок мы уверены в сходимости к сколь угодно сложной неизвестной плотности распределения. С другой стороны, может потребоваться очень большое количество выборок, намного превышающее то количество, которое нам потребовалось бы, если бы мы знали вид неизвестной плотности распределения. Нет почти никаких способов уменьшения объема данных, поэтому потребности во времени вычисления и памяти слишком велики. Более того, потребность большего количества выборок растет экспоненциально с увеличением размерности пространства признаков. Этот недостаток непараметрических процедур, связанный с явлением, которое Веллман назвал «проклятием размерности», намного ограничивает их практическую применимость.