§ 7. Проблема восстановления плотности распределения вероятностей

В главе II проблема восстановления плотности распределения вероятностей в классе непрерывных на функций была связана с решением некорректной задачи численного дифференцирования. Согласно определению плотность распределения вероятностей есть производная от функции распределения вероятностей т. е. является решением уравнения

Поэтому задачу восстановления плотности по эмпирическим данным следует рассматривать как задачу приближенного решения интегрального уравнения (9.70), правая часть которого задана неточно: вместо функции распределения дана ее оценка

Будем решать эту задачу методом регуляризации (см. приложение к гл. I). Выпишем функционал

где А — оператор уравнения (9.70), константа регуляризации при

Рассмотрим последовательность элементов

минимизирующих (9.71) при

Эта последовательность является случайной, так как она образована с помощью случайных функций

В приложении к главе доказана теорема, утверждающая, что если искомое решение операторного уравнения принадлежит некоторому компакту то для любых существует такое что, начиная с для всех элементов (9.72) выполнится неравенство

Воспользуемся этим неравенством для определения условий, обеспечивающих сходимость последовательности (9.72) к искомой плотности.

Рассмотрим асимптотическую оценку скорости сходимости эмпирической функции распределения к истинной (оценка Колмогорова — Смирнова)

Пусть теперь Тогда из (9.73) и (9.74) получим

Из этого неравенства следует, что для того, чтобы последовательность (9.72) сходилась по вероятности в метрике пространства к истинной плотности, достаточно, чтобы

а для того, чтобы последовательность сходилась с вероятностью единица, согласно лемме Бореля — Кантелли достаточно, чтобы хотя бы для одного (1 выполнилось неравенство

Используя в (9.71) различные стабилизирующие функционалы можно получать оценки сходящиеся к искомой плотности в различных метриках.

Итак, мы установили, что если плотность принадлежит компакту то можно подобрать такие чтобы последовательность (9.72) сходилась к искомой плотности.

Требование о принадлежности искомой плотности компакту можно снять.

В приложении к главе показано, что можно получать последовательность решений, сходящуюся к непрерывной плотности, — достаточно в качестве стабилизирующего функционала взять где норма

гильбертова пространства. Но теперь условие (9.75) должно быть выполненным для любого положительного а последовательность сходится к решению в метрике

Таким образом, методы восстановления плотности связаны с решением некорректных задач численного дифференцирования.

Ниже мы используем метод упорядоченной минимизации риска для решения задачи восстановления плотности. Однако прежде чем приступить к изложению соответствующих результатов, следует заметить, что существуют классические непараметрические методы восстановления плотности (например, метод Парзена), которые, казалось бы, позволяют обойти решение некорректной задачи. Однако при более внимательном анализе оказывается, что все они содержат константу, определение которой — проблема, полностью эквивалентная определению константы регуляризации при решении некорректных задач.