5.3. Взаимоотношения различных регрессий

Взаимоотношения истинной и -регрессий существенно зависят от вероятностной природы регрессионных остатков в моделях типа (5.1) и от способа выбора класса допустимых решений F. Попробуем вначале понять эти взаимоотношения на примере.

Пример 5.1. Результирующий показатель связан с объясняющей переменной соотношением

где регрессионный остаток — случайная величина, подчиняющаяся нормальному закону распределения со средним значением и с дисперсией а диапазон возможных значений определяется, отрез ком [2; 10]. Очевидно, истинная функция регрессии в данном случае имеет вид

Предположим, нам не известен точный вид соотношения (5.8) и соответственно не известно уравнение функции регрессии (5.9).

Однако мы располагаем следующей системой двумерных наблюдений , генерируемых моделью (5.8), т. е. связанных соотношением (табл. 5.1)

Таблица 5.1

Расположение точек — наблюдений на рис. 5.1 дает нам основание ограничить класс допустимых решений только линейными зависимостями, т. е. определить в качестве класса допустимых решений параметрическое семейство

Имея априорную информацию о типе распределения регрессионных остатков, остановим свой выбор на квадратичной функции потерь. Решая оптимизационную задачу вида

получаем оценки для неизвестных параметров участвующих в записи аппроксимирующей функции График соответствующей выборочной аппроксимирующей функции регрессии изображен на рис. 5.1. Для сравнения на том же рисунке изображены графики истинной функции регрессии и теоретической аппроксимирующей функции регрессии Последняя характеризует результат, к которому мы бы неограниченно приближались (в смысле сходимости по вероятности), решая оптимизационную задачу (5.11) для неограниченно расширяющейся по объему выборки . Поскольку мы «не угадали» класс допустимых решений (истинная функция регрессии не принадлежит к выбранному нами классу (5.10)), то в данном случае мы находимся в ситуации (к сожалению, достаточно типичной для практики статистических исследований), в которой наши статистические выводы и оценки не будут обладать свойством состоятельности.

Другими словами, как бы мы ни увеличивали объем исходной статистической базы, мы не сможем добиться сходимости нашей выборочной аппроксимирующей функции регрессии к истинной функции регрессии .

Напротив, если бы мы правильно выбрали класс допустимых решений, что в данном примере означало бы

то неточность в описании с помощью объяснялась бы только ограниченностью выборки, по которой строится функция , и, следовательно, могла бы быть сделана сколь угодно малой за счет

Рис. 5.1. Взаимное расположение истинной, теоретической аппроксимирующей и выборочной аппроксимирующей функций регрессии в примере 5.1:

Сформулируем в заключение несколько общих положений, относящихся к сравнению различных функций регрессии:

а) истинная регрессия является одновременно среднеквадратической, т. е. дает решение оптимизационной задачи вида (5.6) при квадратичной функции потерь и при отсутствии ограничений на класс допустимых решений F (доказательство приведено в п. 1.3.1);

б) для широкого класса критериев адекватности выборочная аппроксимирующая функция регрессии сходится (по вероятности) к теоретической аппроксимирующей функции регрессии при

в) в случае удачного выбора класса допустимых решений, т. е. при , теоретическая аппроксимирующая функция регрессии (при надлежащем выборе критериев адекватности ) совпадает с истинной и соответственно выборочная аппроксимирующая функция регрессии будет сходиться (по вероятности) к истинной;

г) в случае неудачного выбора класса допустимых решений, т. е. при ошибку в описании истинной функции регрессии с помощью выборочной аппроксимирующей функции регрессии удобно представить в виде суммы двух компонент: ошибки выборки и ошибки аппроксимации. При этом ошибка выборки (разность ) при стремится (по вероятности) к нулю, в то время как ошибка аппроксимации (разность ) не стремится к нулю ни при каком выборе критерия адекватности .

Обсуждение мотивов выбора вида функции потерь (и соответственно критерия адекватности ) приводится в гл. 7.