§ 8. Замечания о двух механизмах минимизации среднего риска по эмпирическим данным

Итак, существуют два механизма минимизации среднего риска по эмпирическим данным. Один из них связан с возможностью восстановить плотность распределения вероятностей, другой — с возможностью обеспечить равномерную сходимость эмпирических средних к математическим ожиданиям.

Восстанавливать плотность распределения вероятностей рационально лишь в вырожденных случаях, а именно тогда, когда о плотности имеется достаточно большая априорная информация. Если же априорная информация ограничена, решение промежуточной задачи — восстановление плотности оказывается никак не проще проблемы минимизации среднего риска. В этом случае возможность восстановления плотности распределения вероятностей опирается на теорему Гливенко — Кантелли, т. е. на существование равномерной сходимости частот появления событий к их вероятностям для специального класса событий.

Второй механизм минимизации риска непосредственно опирается на существование равномерной сходимости эмпирических средних к их математическим ожиданиям.

Таким образом, вопрос о равномерной сходимости эмпирических средних к математическим ожиданиям оказался центральным в теории минимизации среднего риска.

Ниже в главах VI—VII будет показано, что достаточные условия существования равномерной сходимости средних к математическим ожиданиям определяются особенностью функций потерь. Для задач восстановления зависимостей эта особенность выразится в том, что класс функции, в котором ведется восстановление, должен быть достаточно узким.

Существование двух механизмов минимизации среднего риска отражает наличие условий двух типов, при которых в принципе возможна минимизация среднего риска по эмпирическим данным.

Условия первого типа связывают возможность минимизации риска с информацией о классе плотностей, которому принадлежит восстанавливаемая плотность распределения вероятностей. В том случае, когда удается ее восстановить, оказывается, что независимо от того, какова функция потерь (лишь бы она не допускала больших выбросов), можно добиться успеха в минимизации среднего риска.

Условия второго типа накладывают определенные ограничения на свойства функций потерь, и тогда независимо от того, какова плотность можно добиться успеха в минимизации среднего риска.

При решении задачи восстановления зависимостей по эмпирическим данным в условиях, когда функция потерь

не допускает больших выбросов, разница в этих двух подходах скажется на схемах возможных утверждений.

Схема утверждений первого типа. Если природа задан угадана хорошо (найден «узкий» класс плотностей которому принадлежит искомая плотность), то независимо от особенностей класса функций, в котором ведется восстановление, минимум эмпирического функционала будет близок к минимуму среднего риска.

Схема утверждений второго типа. Если восстановление ведется в достаточно «узком» классе функций то независимо от того, какова природа задач (какова плотность минимум эмпирического риска будет близок к минимуму среднего риска.

Следует заметить, что с формальной точки зрения существует определенное предпочтение в использовании алгоритмов, относительно которых возможны утверждения второго типа. В самом деле, в утверждении первого типа содержится два требования. Надо, чтобы:

1) класс плотностей, в котором ведется восстановление, был достаточно узким;

2) искомая плотность принадлежала этому классу.

Во втором утверждении содержится лишь одно требование. Надо, чтобы класс функций, в котором ведется восстановление, был достаточно узким. На практике широту класса плотностей, так же, как и широту класса функций, в котором ведется восстановление, нетрудно регулировать.

Вопрос о том, принадлежит ли восстанавливаемая плотность заданному классу, всегда остается открытым.

Основное содержание этой книги составляет отыскание условий равномерной сходимости и использование их для восстановления зависимостей по выборкам ограниченного объема. Используя оценки скорости равномерной сходимости средних к математическим ожиданиям, удается не только обосновать метод минимизации эмпирического риска, но и построить новый метод минимизации риска (метод упорядоченной минимизации), позволяющий в условиях ограниченного объема эмпирических данных находить решение, которое доставляет среднему риску наименьшее гарантированное значение,

Рассмотрению методов минимизации риска, основанных на использовании механизма равномерной сходимости, посвящены главы VI-X. Однако, прежде чем перейти к систематическому изучению этого механизма, мы рассмотрим классические методы минимизации риска, основанные на идее минимизации функционала, построенного с помощью восстановленной плотности. Как уже указывалось выше, в том исключительном случае, когда плотность известна с точностью до параметров, задача восстановления может оказаться устойчивой, и ее решение, а вместе с ней и решение задачи восстановления зависимостей по эмпирическим данным, может быть успешно проведено методами параметрической статистики. В главе III мы рассмотрим применение методов параметрической статистики к решению задачи обучения распознаванию образов, а в главах IV и V — к задаче восстановления регрессии.