ГЛАВА V. ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИИ

§ 1. Задача оценивания параметров регрессии

В предыдущей главе были рассмотрены методы восстановления регрессии в условиях, когда объем выборки стремился к бесконечности.

Однако, строго говоря, полученные результаты относились не к задаче восстановления регрессии, а к другой задаче — оценивания параметров регрессии. Такая подмена задач (вместо приближения функции — оценивание ее параметров) правомерна для достаточно больших объемов выборки. С ростом объема выборки оцениваемые параметры стремятся к истинным и, следовательно, построенная с помощью найденных параметров функция стремится к регрессии. Однако для выборки ограниченного объема задача восстановления регрессии не всегда эквивалентна задаче оценивания ее параметров.

Действительно, качество оценки а параметров регрессии определяется близостью векторов и а:

Качество же приближения функций к регрессии — близостью функций.

В гл. I мы условились рассматривать среднеквадратичную меру близости

Критерии (5.1) и (5.2) не идентичны, и поэтому решение, лучшее по одному из них, может быть худшим по другому.

Пример. Пусть в классе функций

на отрезке [1,2] восстанавливается регрессия

Рассмотрим два решения (рис. 5): первое — полином

и второе — полином

С точки зрения критерия оценки параметров первое решение лучше второго (как бы ни понималась норма (5.1), вектор ближе к чем вектор

Рис. 5.

Однако с точки зрения критерия (5.2) лучшим будет второе решение . При любой мере справедливо неравенство

Когда же задача оценивания параметров регрессии по выборкам ограниченного объема эквивалентна задаче восстановления регрессии?

Допустим, что класс функций, которому принадлежит регрессия, линеен по параметрам

и пусть система ортонормальных с весом функций, т. е. таких функций, для которых

В этом случае величины, характеризующие близость функций в метрике и близость параметров в евклидовой метрике, совпадают, и задача приближения на функции к регрессии становится эквивалентной задаче оценивания параметров. Действительно,

Условия (5.3), (5.4) достаточны для того, чтобы заменить задачу восстановления регрессии задачей оценивания ее параметров. Однако, для того чтобы построить ортогональную систему функций, надо знать плотность В этой главе мы будем полагать, что плотность нам известна.