§ 10. Устойчивые методы восстановления регрессии
В предыдущих параграфах мы рассмотрели некоторые классы плотностей и нашли для них устойчивые плотности.
Теперь в нашей схеме интерпретации результатов прямых экспериментов можно ослабить требования к априорной информации о статистических свойствах помехи. Достаточно знать класс плотностей, которому она принадлежит. В этом случае для восстановления параметров регрессии методами параметрической статистики можно использовать устойчивую в классе плотность вместо истинной. Конечно при такой подмене ухудшается асимптотическая скорость сходимости параметров регрессии. Она становится пропорциональной не предельно достижимой для несмещенного оценивания параметра сдвига величине (см. § 11 гл. III)
(
— истинная плотность помехи), а величине 
лежащей в интервале
где
Однако если класс 
не очень широкий, такая возможная потеря в скорости может быть не слишком большой.
Основным конструктивным результатом рассмотренной здесь теории устойчивого оценивания является выделение четырех классов плотностей с указанием в них устойчивой плотности.
Выпишем эти классы и плотности.
1. Класс плотностей с дисперсией, ограниченной величиной 
Устойчивой плотностью
в этом классе является плотность нормального закона
2. Класс невырожденных плотностей (для которрх 
Устойчивой в этом классе является плотность
3. Класс плотностей, образованный смесью известной плотности, например нормальной 
с любой возможной плотностью, взятыми в пропорции 
и 
. Устойчивой в этом классе является плотность
где 
определяемые через 8 и а константы.
4. Класс плотностей, сосредоточенных в основном на отрезке 
Устойчивой в этом классе является плотность
где 
определяемые через 
константы.
Теперь, если вместо истинной плотности помехи 
взять устойчивую в классе 
определить с ее помощью плотность условного распределения вероятностей
и, наконец, воспользоваться для оценки параметров методом максимума правдоподобия, то получим следующий
алгоритм восстановления регрессии по выборке:
Надо минимизировать функционал
где
если истинная плотность помехи принадлежит классу плотностей с ограниченной дисперсией;
если истинная плотность помехи принадлежит классу невырожденных плотностей;
если истинная плотность есть смесь нормального закона с любым возможным;
если истинная плотность сосредоточена в основном на отрезке 
Среди этих методов метод наименьших квадратов 
и метод минимальных модулей 
не содержат свободных параметров. Метод наименьших модулей является более универсальным — он определяется устойчивой плотностью в более широком классе плотностей.
Два других метода оценивания содержат параметры, которые вычисляются в зависимости от величин, задающих классы плотностей. Эти методы следует применять, когда удается достаточно точно определить классы плотностей, содержащие искомую плотность.
Итак, при восстановлении регрессии нам удалось снять требование точного знания модели помехи. Достаточно знать класс функций, содержащий регрессию и класс плотностей, которому принадлежит плотность помехи. Однако вся построенная выше теория является принципиально асимптотической (при выводе основного соотношения (4.37) существенно использовался закон больших чисел). Поэтому гарантией того, что найденные алгоритмы окажутся работоспособными на выборках ограниченного объема, может служить лишь вера в то, что асимптотика наступает рано.
