ГЛАВА IV. МЕТОДЫ ПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИ В ЗАДАЧЕ ВОССТАНОВЛЕНИЯ РЕГРЕССИИ

§ 1. Схема интерпретации результатов прямых экспериментов

В предыдущей главе методы параметрической статистики были применены для решения задачи обучения распознаванию образов: для минимизации функционала

с неизвестной плотностью распределения вероятностей по эмпирическим данным

сначала в параметрическом классе плотностей восстанавливалась плотность затем с помощью плотности строился эмпирический функционал

и наконец отыскивалось такое которое доставляло минимум (4.3).

Для реализации этой схемы существенным было то, что координата у принимала лишь два значения — нуль и единица, множество было множеством характеристических функций, а плотность была объединением двух плотностей. Все эти особенности определяют задачу обучения распознаванию образов.

В этой главе мы реализуем ту же самую схему минимизации риска, но применительно к задаче восстановления регрессии.

При решении этой задачи методами параметрической статистики принята своя модель плотности, отличная от той, которая рассматривалась в главе III. Считается, что случайная величина у и случайный вектор х связаны соотношением

где функция, принадлежащая классу а случайная не зависящая от х помеха, распределенная согласно плотности :

Таким образом, для всякого фиксированного х закон индуцирует плотность условного распределения вероятностей величины у

Совместная же плотность определяется законом

где плотность распределения вероятностей вектора х.

Задачу восстановления регрессии по случайной независимой выборке пар можно интерпретировать как восстановление функциональной зависимости в классе по ее прямым измерениям, проводимым с аддитивной помехой в I случайно выбранных точках. В главе I такая задача была названа интерпретацией результатов прямых экспериментов.

Будем решать эту задачу методами параметрической статистики: восстановим плотность

а затем найдем точку минимума эмпирического функционала

Прежде всего покажем, что минимум функционала (4.6) достигается при

В самом деле, воспользуемся тождеством

Так как первое слагаемое правой части не зависит от то минимум достигается тогда, когда обращается в нуль неотрицательное второе слагаемое, т. е. при

Таким образом, значение вектора задающего условную плотность немедленно определяет регрессию. Она равна .