7.2.1. Функция потерь.

Параметры регрессионной поверхности находят из условия минимизации по вектору 0:

где . Покажем, что для

1) решение этой задачи единственно;

2) в модели (7.2) для симметричных распределений случайных ошибок оценка состоятельна. В самом деле, функция рассматриваемая как функция от 0, строго выпукла вниз. Следовательно, строго выпукла вниз и сумма поэтому минимум единствен и достигается в одной точке. Из строгой выпуклости и, следовательно, положительности вытекает, что для любой симметричной относительно нуля случайной величины для любого

Из закона больших чисел [14, п. 7.2.1] следует, что в модели (7.2) для больших значений для любого фиксированного вектора

При симметричном относительно нуля распределении случайных ошибок, как следует из (7.23), правая часть (7.24) будет наименьшей при Следовательно, в силу (7.24) должно быть при большом близко к , т. е. оценка состоятельная.

В сформулированных выше условиях асимптотическая ковариационная матрица имеет вид (см. также гл. 11):

где — случайный регрессионный остаток.

В практической работе математические ожидания, стоящие в правой части (7.25), заменяются на их выборочные оценки:

Напомним, что формула (7.25) верна только для независимых и симметрично (относительно нуля) распределенных регрессионных остатков.

Методы вычисления [44, 94, 1863. Основные уравнения имеют вид

Введем под знак суммы веса и заменим на Получим систему

Система (7.28) решается итеративно, при этом веса оцениваются на основе параметров, полученных на предыдущем шаге. В качестве нулевого приближения параметров можно взять обычные мнк-оценки. Чтобы не иметь дела со слишком большими весами, выбирают какую-либо большую константу с и для с полагают Для минимизации пользуются также методами линейного программирования [253, 256] или специальным геометрическим приемом [53].

В качестве математической модели симметричного распределения с более тяжелыми хвостами, чем у нормального распределения, часто берут распределение Лапласа с плотностью

Если в модели (7.2) «остатки» не зависят от X, независимы между собой, одинаково распределены и имеют распределение Лапласа, есть оценка максимального правдоподобия для

Оценка Хубера [213, 2141. Исходя из задачи поиска минимума максимальной (по всем симметричным засорениям нормального распределения) асимптотической дисперсии оценки параметра положения, П. Хубер ввел в рассмотрение функцию потерь

Эта функция, являясь выпуклой, удачно сочетает достоинства при малых и умеренных значениях — при больших отклонениях. Применение для оценки регрессии в модели (7.2) требует обязательной одновременной оценки и параметра масштаба распределения е. Тем самым теряется одно из преимуществ — независимость процедур оценивания этих параметров. П. Хубер предложил искать и он из решения системы:

где — плотность стандартного нормального распределения.

Авторы [124] советуют заменить последнее уравнение в (7.30) на

где . Теоретические свойства этих оценок и соответствующие вычислительные процедуры изучаются в [43, 110, 124].

На практике для оценки ковариационной матрицы в случаях, когда распределение можно считать симметричным, можно использовать формулы (7.25), (7.26), (7.27) с заменой на

Оценки все же еще недостаточно устойчивы к асимметричным отклонениям от нормальности распределения [149]. Следовательно, нужны функции потерь , которые, растут при медленнее, чем .