ГЛАВА I. ЗАДАЧА ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ ПО ЭМПИРИЧЕСКИМ ДАННЫМ

§ 1. Проблема минимизации среднего риска по эмпирическим данным

Всякий раз, когда возникает проблема выбора функциональной зависимости, рассматривается одна и та же схема: среди множества возможных зависимостей необходимо найти такую, которая наилучшим образом удовлетворяет заданному критерию качества.

Формально это означает, что на векторном пространстве задан класс функций (класс возможных зависимостей) и определен функционал — критерий качества выбираемой зависимости

Требуется среди функций найти такую которая доставляет минимум функционалу (1.1) (будем полагать, что наилучшему качеству соответствует минимум функционала и что минимум (1.1) в существует).

В том случае, когда класс функций и функционал заданы явно, отыскание функции минимизирующей является предметом исследования вариационного исчисления.

В этой книге рассмотрен иной случай, когда на определена плотность распределения вероятностей а функционал задан как математическое ожидание

Проблема же состоит в том, чтобы минимизировать функционал (1.2), если плотность неизвестна, но зато дана выборка

полученная в результате случайных независимых испытаний согласно

Ниже в §§ 2, 3, 4 мы убедимся в том, что к минимизации функционала (1.2) по эмпирическим данным (1.3) сводятся все основные задачи восстановления функциональных зависимостей, а пока заметим, что проблемы, возникающие при минимизации функционала (1.1) и минимизации функционала (1.2) по эмпирическим данным (1.3), существенно различаются.

При минимизации функционала (1.1) проблема состоит в организации поиска в классе функции минимизирующей (1.1). При минимизации же функционала (1.2) по эмпирическим данным (1.3) основная проблема заключается не в организации поиска функции в а в формулировке конструктивного критерия, согласно которому должен проводиться выбор функции. (Сам функционал (1.2) не может служить критерием выбора, так как в нем плотность неизвестна.)

Таким образом, в первом случае ищется ответ на вопрос: «Как найти минимум функционала в заданном классе функций?», в то время как во втором: «Что следует минимизировать для того, чтобы выбрать в функцию, гарантирующую «малую» величину функционала (1.2)?»

Минимизация функционала (1.2) по эмпирическим данным (1.3) является задачей математической статистики. Назовем ее задачей минимизации среднего риска по эмпирическим данным.

При постановке задачи минимизации среднего риска будем класс функций задавать в параметрическом виде Здесь а — параметр, принадлежащий множеству конкретное значение которого определяет конкретную функцию а класса Найти нужную функцию в этом случае, значит установить нужное значение параметра а. Изучение лишь параметрического класса функций не является сколько-нибудь серьезным ограничением в постановке задачи, так как множество которому принадлежит параметр а, произвольно: оно может быть множеством скалярных величин, множеством векторов или множеством абстрактных элементов.

В новых обозначениях функционал (1.2) переписывается в виде

где обозначено

функция двух групп переменных и а носит название функции потерь.

Задача минимизации среднего риска имеет простую интерпретацию: считается, что каждая функция (переменного при фиксированном определяет величину потери при появлении вектора Средняя по величина потерь для функции а определяется интегралом

Суть задачи состоит в том, чтобы для неизвестного закона появления по наблюдениям за случайными независимыми реализациями выбрать в такую функцию а, которая минимизирует среднюю величину потерь.

Задача минимизации среднего риска по эмпирическим данным является достаточно общей. Будем выделять в ней частную постановку. Особенность этой постановки заключается в том, что вектор состоит из координаты — координаты у и координат образующих вектор Функция потерь задана в виде

где параметрический класс функций. Необходимо минимизировать функционал

если плотность неизвестна, но зато дана случайная независимая выборка пар

(обучающая последовательность).

Задачу минимизации функционала (1.5) по эмпирическим данным (1.6) будем называть задачей восстановления

функциональной зависимости. Исследованию этой задачи и посвящена книга. В ней будут рассмотрены три основные задачи восстановления функциональных зависимостей:

— задача обучения распознаванию образов,

— задача восстановления регрессии,

— задача интерпретации результатов косвенных экспериментов.

В следующих параграфах мы убедимся, что все они сводятся к минимизации функционала (1.5) по эмпирическим данным (1.6).