§ 9. Восстановление плотности методом упорядоченной минимизации риска

Итак, будем решать уравнение (9.70), где вместо используется эмпирическая оценка Заметим, что является случайной функцией, значения которой в разных точках коррелированы.

Коэффициент ковариации случайных величин равен

Здесь обозначено

Рассмотрим величин образованных с помощью функции случайных чисел полученных согласно равномерной на плотности вероятностей:

Так как случайные величины и коррелированы, то применять непосредственно метод упорядоченной минимизации для восстановления плотности вероятностей нельзя.

Поэтому применим к случайному вектору следующее линейное преобразование:

где К — матрица ковариаций с элементами (9.80).

Известно, что с помощью этого преобразования образуется случайный вектор компоненты которого

некоррелированы и имеют единичную дисперсию (можно показать, что в нашем случае компоненты независимы).

Поэтому можно рассматривать каждую компоненту вектора как реализацию случайной величины при условии х в независимой выборке объема

Обозначим через вектор с координатами Преобразование В переводит вектор в вектор компоненты которого будем рассматривать как значения некоторой функции в точках

Будем теперь решать задачу минимизации функционала

Для решения этой задачи применим метод упорядоченной минимизации риска.

Таким образом, имеем

Числитель правой части может быть представлен в виде

Выпишем теперь окончательно функционал, минимизация которого по классам функций и по всевозможным функциям в каждом из классов определит оценку плотности распределения вероятностей:

где

— функции, принадлежащие

Для того чтобы воспользоваться соотношением (9.81), надо знать обратную ковариационную матрицу. Эта матрица может быть найдена аналитически. Непосредственной проверкой соотношения читатель может убедиться, что следующая матрица является обратной к К:

Однако матрица (9.82) выражается через неизвестную нам функцию распределения случайной величины производную от которой и требуется найти.

Итак, оказалось, что для того, чтобы по выборке восстановить плотность вероятностей, необходимо иметь априорную информацию о плотности (знать ковариационную матрицу В этом и сказывается принципиальная трудность проблемы восстановления плотности вероятностей в широком классе функций.

Вместо матрицы (9.82), однако, в (9.81) можно использовать ее оценку, где значения матрицы определяются по предварительно восстановленной непрерывной функции Заметим, что задача восстановления функции проще задачи восстановления плотности (согласно теореме Гливенко — Кантелли эмпирическая функция

распределения сходится к истинной в равномерной метрике). Таким образом, алгоритм восстановления плотности вероятностей состоит из двух этапов: предварительного оценивания матрицы (9.82) и нахождения плотности.

Рис. 15.

Такой двухэтапный метод восстановления плотности, видимо, является принципиально необходимым при восстановлении плотности на практике.

На рис. 15 и 16 показано применение метода Парзена для восстановления одно- и двумодальной плотности (рис. а и б) по выборке объема

Рис. 16.

Показано, что при тех значениях параметра при которых удовлетворительно восстанавливается одномодальная плотность, плохо восстанавливается двумодальная плотность и наоборот: значения параметра, подобранные

для восстановления двумодальной плотности не дают удовлетворительного результата при восстановлении одномодальной плотности.

Рис. 17.

Применение рассмотренного двухэтапного метода упорядоченной минимизации (в классе сплайнов) в тех же условиях позволяет получить удовлетворительные решения (рис. 17).

Рис. 18.

При вычислении использовались значения

полигона случайно выбранных точках. Изменение в достаточно широких пределах несущественно влияет на результат (рис. 18). Плотности восстанавливались с помощью модифицированного алгоритма 12-3 (см. гл. XII).