§ 6. Устойчивое оценивание параметров регрессии

Пусть теперь надо восстановить регрессию. Будем полагать, что класс функций, в котором ведется восстановление и которому принадлежит регрессия, представим в виде

где система линейно независимых функций.

Как и раньше, истинная и гипотетическая плотности помехи принадлежат классу

Для восстановления параметров регрессии используем метод максимума правдоподобия, т. е. найдем вектор а, доставляющий максимум выражению

Пусть этот вектор есть Рассмотрим вектор уклонений найденных значений параметров регрессии а от истинных

Образуем ковариационную матрицу В:

которая определяет качество оценивания вектора параметров а (см. § 11 гл. III).

Ниже, совершенно аналогично (4.37), мы получим, что для достаточно больших справедливо равенство

где

Таким образом, элементы матрицы В пропорциональны величине

В представлении (4.44) важно, что от плотностей зависит лишь коэффициент пропорциональности (а не матрица

Поэтому двум различным гипотетическим плотностям соответствуют две квадратичные формы с равными матрицами но различными величинами Эти формы находятся в одном из отношений: в отношении

или отношении

в зависимости от того, какой из коэффициентов больше: или В § 11 гл. III было показано, что минимум формы определяет совместно эффективные оценки параметров.

Таким образом, величина коэффициента определяет качество оценивания параметров линейной регрессии: чем меньше тем выше качество.

Это означает, что и в случае оценивания параметров регрессии задача выбора устойчивой плотности приводится к рассмотренной игре природы и статистика. В предыдущем параграфе было показано, что в этой игре оптимальная стратегия статистика состоит в том, чтобы в классе плотностей выбрать плотность, доставляющую минимум величине информационного количества Фишера

Таким образом, для того чтобы найти наилучшую гипотетическую модель помехи в классе надо в этом классе найти функцию, доставляющую минимум (4.45). Эту плотность и будем использовать для определения

параметров регрессии с помощью метода максимума правдоподобия.

Нам осталось получить соотношение (4.44). Получим его аналогично выводу (4.37). Обозначим

Тогда максимум функции правдоподобия (4.43) достигается на тех значениях а, которые удовлетворяют уравнениям

Воспользуемся приближением (4.38):

Отсюда для достаточно больших в силу независимости получаем

Или в векторной форме

где вектор-столбец с координатами

Из (4.46) получим

Найдем теперь ковариационную матрицу:

Здесь мы полагаем, что матрица не вырождена. Возвращаясь к исходным обозначениям, получим (4.44).