ГЛАВА VII. МЕТОД МИНИМИЗАЦИИ ЭМПИРИЧЕСКОГО РИСКА В ЗАДАЧЕ ВОССТАНОВЛЕНИЯ РЕГРЕССИИ

§ 1. О равномерной сходимости средних к математическим ожиданиям

В этой книге задача обучения распознаванию образов сформулирована как наиболее простая задача восстановления зависимостей по эмпирическим данным. Элементарность ее определяется тем, что задача сводится к минимизации функционала

с неизвестной плотностью по выборке

в ситуации, когда у принимает лишь два значения — нуль и единица, класс характеристических функций.

Задача восстановления регрессии считается более сложной. Она также сводится к минимизации функционала с неизвестной плотностью по выборке (7.2), но здесь значение у может быть любым числом, а класс принадлежит интегрируемым с квадратом функциям.

Поэтому построение теории минимизации риска (7.1) в классе не обязательно характеристических функций путем минимизации эмпирического функционала

может рассматриваться как обобщение результатов теории, полученной в предыдущей главе, на более широкий класс функций.

В этой главе мы построим теорию восстановления регрессии методом минимизации эмпирического риска (7.2) как естественное обобщение решения задачи обучения распознаванию образов.

Возможность провести такую точку зрения представляется нам впервые. Использование параметрических методов в задачах распознавания образов (гл. III) и восстановления регрессии (гл. IV, V) не позволяло это сделать. Решение задач проводилось в условиях существенно различных моделей плотностей : в задаче обучения распознаванию образов структура плотности определялась объединением двух плотностей, а в задаче восстановления регрессии — схемой измерения с аддитивной помехой. Здесь же принцип решения задач один и тот же: поиск функции, минимизирующей (7.1), проводится путем минимизации эмпирического функционала (7.3).

В предыдущей главе были получены условия, при которых этот путь приводит к успеху для класса характеристических функций Теперь мы найдем условия, гарантирующие успех применения метода минимизации эмпирического риска, если класс функций более общей природы.

В задаче распознавания образов функционал (7.1) для каждого фиксированного а определяет вероятность некоторого события (неправильной классификации вектора, поступающего для распознавания), а эмпирический функционал (7.3) — частоту этого события, вычисленную по обучающей последовательности. Условия применимости метода минимизации эмпирического риска здесь связаны с существованием равномерной сходимости частот появления событий к их вероятностям по классу событий.

В задаче восстановления регрессии функционал (7.1) определяет для каждого фиксированного а математическое ожидание случайной величины

а эмпирический функционал (7.3) — эмпирическое среднее этой случайной величины, найденное по выборке (7.2).

Выше (§ 1 гл. VI) было показано, что успех применения метода минимизации эмпирического риска может быть связан с существованием равномерной сходимости средних к математическим ожиданиям:

Было показано, что при выполнении условия (7.4) с вероятностью значение функционала (7.1) в точке эмпирического минимума уклонится от минимального в классе значения не более чем на

Таким образом, проблема сводится к отысканию условий существования равномерной сходимости средних к математическим ожиданиям и оценке скорости сходимости.