3.10.4. Устойчивое оценивание

Мы уже видели в этой главе, что в том случае, когда отклик У имеет нормальное распределение, оценка наименьших квадратов вектора обладает целым рядом весьма желательных свойств. Однако, как показали Andrews и др. (1972, гл, 7), метод

наименьших квадратов может оказаться весьма далеким от оптимального, если распределение отклика не является нормальным, а имеет более длинный хвост. Проведенное этими авторами исследование ясно показывает, например, что для широкого класса распределений оценка наименьших квадратов параметра сдвига является неэффективной по сравнению с большинством более устойчивых оценок этого параметра (см. также Moussa-Hamouda, Leone (1974)). Заметим, что хотя графики остатков (§ 6.6) и могут указывать на дефекты модели, интерпретация этих графиков часто требует мастерства, недоступного рядовому пользователю, далекому от математики. В то же время при устойчивом оценивании некоторые из остатков могут оказаться существенно больше остальных, что более ясно указывает на наличие неувязок в модели. Пример устойчивого оценивания в полиномиальной регрессии см. в работе Beaton, Tukey (1974).

Определенное внимание привлек к себе метод, состоящий в минимизации относительно Выполнение такой минимизации в норме пространства может быть сведено к решению общей задачи линейного программирования. Соответствующую процедуру, аналогичную симплексному методу, указал Davies (1967). К сожалению, решение здесь не всегда единственно, и некоторые из общих алгоритмов линейного программирования (ЛП) могут приводить к смещенным оценкам вектора [Kiountouzis (1973), Sielken, Hartley (1973)]. Однако Sielken, Hartley (1973) затем предложили эффективный ЛП-метод отыскания несмещенного решения. Итерационная процедура, основанная на методе наименьших квадратов и, следовательно, требующая меньшей памяти, описана в работе Schlossmacher (1973). Однако вопросы сходимости и несмещенности этой процедуры не решены. Дальнейшие ссылки, а также алгоритм, относящийся к случаю одномерной линейной регрессии, можно найти в работе Sadovski (1974).

Интересно отметить, что в случае, когда имеет двойное экспоненциальное распределение, указанный выше метод, основанный на норме пространства эквивалентен методу максимального правдоподобия. Если имеет равномерное распределение с неизвестным размахом, то применение метода максимального правдоподобия связано с минимизацией величины Алгоритм отыскания несмещенной оценки для этого случая приводят Sielken, Hartley (1973).

Естественное обобщение указанного метода состоит в минимизации суммы . Значение может явиться здесь приемлемым компромиссом (относительно ссылок см. Hogg (1974, с. 915 и далее)). Другие методы устойчивого оценивания регрессионных моделей описаны в работах Andrews (1974) и Bickel (1975) [см. также Ершов (1978, Huber (1972, Jurei-kova (1977 и Puri, Sen (1975].