§ 3. Задача восстановления регрессии

Два множества элементов связаны функциональной зависимостью, если каждому элементу может быть поставлен в однозначное соответствие элемент Эта зависимость называется функцией, если множество векторы, а множество скаляры. Однако существуют и такие зависимости, где каждому вектору х ставится в соответствие число полученное с помощью случайного испытания, согласно условной плотности Иначе говоря, каждому х ставится в соответствие закон согласно которому в случайном испытании реализуется выбор у.

Существование такого рода зависимостей отражает наличие стохастических связей между вектором х и скаляром у. Полное знание стохастических связей требует восстановления условной плотности Задача же восстановления условной плотности чрезвычайно трудна. Однако часто на практике (например, в задачах обработки результатов измерения) нужно знать не плотность а лишь одну из ее характеристик: функцию условного математического ожидания, т. е. функцию, которая каждому ставит в соответствие число равное математическому ожиданию скаляра у

Функция называется регрессией, а задача восстановления функции условного математического ожидания — задачей восстановления регрессии.

Рассмотрим постановку этой задачи. В некоторой среде, которая характеризуется плотностью распределения вероятностей случайно и независимо появляются ситуации х. В этой среде работает преобразователь, который каждому вектору х ставит в соответствие число у, полученное в результате реализации случайного испытания согласно закону Ни свойства среды ни закон вообще говоря, неизвестны. Однако известно, что существует регрессия

Потребуется по случайной независимой выборке пар

восстановить регрессию, т. е. в классе функций отыскать функцию а, наиболее близкую к регрессии

Задача восстановления регрессии является одной из основных задач прикладной статистики. К ней приводится проблема интерпретации результатов прямых экспериментов. Пусть интересующая нас закономерность связывает функциональной зависимостью величину у с вектором х

Пусть нашей целью является определение функциональной зависимости в ситуации, когда в любой точке х может быть проведен прямой экперимент по определению этой зависимости, т. е. проведены прямые измерения величины Однако вследствие несовершенства эксперимента результат измерения определит истинную величину с некоторой случайной ошибкой. Иначе говоря, в каждой точке х удается определить не величину а величину где ошибка эксперимента,

Считается (эта гипотеза и определяет возможность интерпретации экспериментов), что ни в одной точке х условия эксперимента не допускают систематической ошибки, т. е. математическое ожидание измерения функции в каждой фиксированной точке х равно значению функции в этой точке

Кроме того, будем считать, что случайные величины независимы. В этих условиях необходимо по конечному числу прямых экспериментов восстановить функцию Таким образом, интересующая нас зависимость есть регрессия (1.7), а суть проблемы состоит в отыскании регрессии по последовательности пар

В задачах интерпретации результатов прямых экспериментов принято различать два типа экспериментов: закрытый и открытый. Закрытый эксперимент предполагает, что закон по которому определяется выбор экспериментальных точек, исследователю не известен.

Открытым экспериментом считается такой эксперимент, в котором закон выбора точек измерения известен исследователю (его часто задает сам исследователь). Итак, задача восстановления регрессии содержит проблему интерпретации результатов прямых экспериментов.

В свою очередь задача восстановления регрессии сводится к задаче восстановления зависимостей.

В самом деле, рассмотрим функционал

где обозначено

Покажем, что если регрессия принадлежит классу то она минимизирует функционал (1.8), если же регрессия не принадлежит то минимум достигается на ближайшей к регрессии функции а. Близость функций понимается в следующем смысле (в метрике

Действительно, обозначим

Тогда функционал (1.8) может быть записан в виде

В этом выражении третье слагаемое равно нулю, так как в силу (1.7)

Таким образом, мы установили, что

Так как первое слагаемое не зависит от а, то точка минимума совпадает с точкой минимума второго слагаемого, и, следовательно, минимум достигается на регрессии,

если или на ближайшей к ней функции, если

Итак, задача восстановления регрессии также сводится к схеме минимизации среднего риска. Особенность ее состоит в том, что на класс функций наложены следующие ограничения:

1) Вектор состоит из координат: координаты у и координат образующих вектор х. Однако, в отличие от задачи обучения распознаванию образов, здесь и координата у и функции могут принимать любые значения из интервала

2) Класс функций задан в виде

Функции принимают любые значения из интервала