§ 4. Два механизма минимизации среднего риска

В этом параграфе мы будем полагать, что нам известна абсолютная оценка величины возможных потерь

Наша цель состоит в том, чтобы по случайной независимой выборке

сконструировать такой эмпирический функционал

точка минимума которого с заданной вероятностью доставляет функционалу среднего риска

значение, близкое к минимальному.

Существует «естественный» способ построения такого эмпирического функционала. Надо восстановить по выборке (2.19) плотность распределения вероятностей а затем подставить в (2.20) восстановленную плотность вместо

Полученный таким образом функционал не зависит от неизвестной плотности и принципиально может быть минимизирован.

Казалось бы, проблема минимизации среднего риска по эмпирическим данным сводится к восстановлению плотности распределения вероятностей. Задача же восстановления по случайной независимой выборке плотности распределения вероятностей является центральной в матемц

тической статистике, и, таким образом, решение одной из частных проблем статистики — минимизация среднего риска по эмпирическим данным — ставится в зависимость от решения ее центральной проблемы.

В следующем параграфе мы подробно рассмотрим постановку задачи о восстановлении плотности распределения вероятностей, цель же этого параграфа — установить, что существуют два различных механизма, позволяющих решать задачу минимизации среднего риска по эмпирическим данным. Один из этих механизмов действительно опирается на то, что восстанавливаемая плотность приближается к истинной, в то время как другой механизм имеет совершенно иную теоретическую основу.

Итак, пусть Рассмотрим два типа эмпирических функционалов: эмпирический функционал типа

где эмпирическая плотность, восстановленная по выборке и эмпирический функционал

Эмпирический функционал (2.22) принято называть функционалом эмпирического риска.

Формально функционал эмпирического риска является частным видом эмпирического функционала (2.21). В самом деле, если в качестве аппроксимирующей плотности в (2.21) использовать плотность

где

размерность вектора ), то при окажется, что Здесь использован факт

Однако имеет смысл выделять функционал (2.22), так как успех в минимизации среднего риска путем

минимизации функционалов (2.21) и (2.22) может определяться разными причинами. В первом случае успех может быть обеспечен за счет близости восстановленной плотности к истинной, тогда как во втором случае плотность при малых не приближается к и тем не менее возможны условия, когда точка минимума функционала эмпирического риска доставляет функционалу (2.20) значение, близкое к минимальному.

Действительно, пусть плотность близка к т. е.

и пусть минимум эмпирического функционала достигается при а минимум среднего риска при Тогда справедлива цепочка неравенств

откуда следует близость минимумов функционалов (2.20) и (2.21).

Покажем теперь, что аппроксимирующая плотность (2.23) при не приближается к истинной. Пусть ограниченная функция. Разобьем множество на два подмножества: множество малой меры, содержащее все элементы выборки, и множество

Нетрудно проверить, что для достаточно малого 8 может быть выбрано такое множество что

Таким образом, успех минимизации среднего риска (2.20) методом минимизации функционала эмпирического риска (2.22) определяется не близостью плотностей, как в первом случае, а иным механизмом. Ниже в § 6 мы покажем, что этот механизм опирается на свойство равномерной сходимости эмпирических средних к математическим ожиданиям по некоторому множеству событий.