6.4. Ридж-оценки

В предыдущих параграфах показано, что оценка МНК имеет большую дисперсию в случае мультиколлинеарности и при усилении мультиколлинеарнссти становится неустойчивой. Если же выйти за рамки несмещенных оценок, то оказывается можно построить более устойчивые оценки, с меньшим квадратом ошибки. К таким оценкам прежде всего относятся так называемые ридж-оценки гребень, хребет), впервые введенные А. Гоэрлом. Такое название оценкам он дал при анализе регрессии, представляющей собой поверхность второго порядка [130]. В общем виде ридж-оценка вектора параметров а линейной регрессионной модели записывается так:

где К — некая неотрицательно определенная матрица Суть оценки (6.22) ясна: добавление к матрице плана неотрицательно определенной матрицы делает ее лучше определенной, а оценки — более устойчивыми.

Часто матрицу К выбирают диагональной, причем ее диагональные элементы пропорциональны диагональным элементам исходной матрицы плана т. е.

где Еще более простой способ — прибавление к диагональным элементам матрицы некоторого неотрицательного числа, т. е. Можно показать, что случай (6.23) сводится к последнему. Действительно, обозначим

Тогда модель (1.2) сведется к следующей модели:

причем матрица является «корреляционной матрицей» независимых переменных

Ридж-оценкой (6.22) с матрицей для модели (6.25) является

Поэтому

есть ридж-оценка (6.22) исходной модели (1.2) с выбором К по правилу (6.23). Итак, вместо можно рассмотреть приведенную регрессионную модель (6.25), у которой ридж-оценка имеет более простую структуру

Кратко остановимся на свойствах этой оценки:

1) - оценка МНК;

2) — является линейным преобразованием оценки МНК

где b - оценка МНК уравнения (6.25). Поскольку то ридж-оценка является смещенной;

3) в классе оценок с фиксированной длиной ридж-оценка (6.27) минимизирует сумму квадратов отклонений. Для доказательства достаточно показать, что (6.27) является решением следующей задачи:

Построим функцию Лагранжа

Рис. 6.5. Ридж-оценка как оценка с данной длиной и минимизирующая сумму квадратов отклонений,

Необходимым условием минимума функции является

откуда

и оценка (6.27)

На рис. 6.5 эта оценка есть точка соприкосновения окружности с радиусом с и эллипса

Можно показать, что верно и обратное утверждение: ридж-оценка имеет минимальную длину в классе оценок с данным значением суммы квадратов.

В случае мультиколлинеарности средняя сумма квадратов ошибок оценки МНК оказывается высокой. Что можно сказать об оценке

Обозначим По определению

Второе и третье слагаемые в последнем выражении обращаются в нуль в силу равенства К последнему слагаемому применим формулу Тогда

Преобразуем матрицу следующим образом:

аналогично преобразуется матрица Таким образом, Далее, легко видеть, что характеристические векторы матриц совпадают. Если характеристическое число матрицы обозначить то матрицы будет а матрицы

Лемма 6.1. Пусть симметричные матрицы с совпадающими и характеристическими числами, равными соответственно Тогда

Доказательство. Покажем, что матрицы есть Действительно, пусть матрица, составленная из матрицы А, такова, что и откуда и следует утверждение леммы. Используя лемму, находим

Далее, пусть ортогональная матрица, столбцы которой составлены из матрицы тогда и

Обозначим

тогда

Окончательно

Исследуем среднюю сумму квадратов ошибок (6.30) ридж-оценки как функцию Ясно, что есть средняя сумма квадратов ошибок оценки МНК. Найдем первую и вторую производные

Как видим, т. е. в точке функция убывает, а при имеет асимптоту (рис. 6.6):

Рис. 6.6. График среднего квадрата ошибки для случая

Легко видеть, что для всех меньше нуля. Это значит, для всех таких Далее, можно найти оптимальное значение Для приближенного вычисления можно воспользоваться методом Ньютона-Рафсона. Аппроксимируем в окрестности точки параболой, т. е.

Значение обращающее (6.31) в минимум, равно:

Для нахождения к необходимо знание искомых параметров поэтому непосредственное применение (6.32) невозможно. Однако можно предложить следующую итеративную процедуру:

1) оцениваем исходное уравнение обычным МНК, получаем оценку а. С помощью преобразований (6.24) и (6.29) переводим ее в оценку параметра

2) находим значение к по формуле (6.32), где заменяются на их оценки и

3) находим на основе к ридж-оценку по формуле (6.27) и возвращаемся на второй шаг. Вычисления продолжаются до тех пор, пока результаты соседних итераций не совпадут.

В табл. 6.1 приводятся ридж-оценки регрессии-примера для разных значений k.

Таблица 6.1 (см. скан)

На рис. 6.7 показан график изменения суммы квадратов отклонений в зависимости от k. При сумма квадратов отклонений растет медленно, далее рост резко увеличивается. Удовлетворительным ридж-оценкам отвечают

Применение формулы (6.32) для оптимального к привело к сходимости процесса на втором шаге. Значение к для регрессии-примера на первом шаге, т. е. с применением оценки МНК, равно Ридж-оценка привела к уменьшению средней суммы квадратов ошибок на 23%. Второй шаг дал практически то же значение к, и ридж-оценка оказалась равной

При исследовании ридж-оценок как критерия качества оценки мы рассматривали среднюю сумму

квадратов ошибок. Этот критерий имеет один недостаток: веса оценок разных координат совпадают. Более оправданным критерием для несмещенных оценок является сравнение матриц ковариаций оценок.

Для смещенных оценок матрицу ковариаций необходимо заменить на матрицу средних квадратов ошибок, т. е. , где оценка вектора а. Так, для некоторого ридж-оценка лучше оценки МНК, если разность между матрицей ковариаций оценки МНК и матрицей средних квадратов ошибок ридж-оценки положительно определена. В [191] показано, что при специальном выборе ридж-оценка будет лучше оценки МНК и в смысле критерия матрицы средних квадратов ошибок.

Рис. 6.7. Сумма хвадратов отклонений как функция регрессии-примера

Вернемся к проблеме выбора k. А. Гоэрл, Р. Кеннард и К. Болдвин 1134] предлагают брать равным где оценка МНК ортогонального уравнения регрессии (6.29). Этот метод имеет существенный недостаток: при сильной мультиколлинеарности оценка МНК является неустойчивой, т. е. значение велико, что ведет к малому Это в свою очередь приведет к тому, что ридж-оценка будет мало отличаться от оценки МНК. В действительности же должно происходить обратное.

Г. Макдональд и Д. Галарню [163] предлагают два варианта выбора Предположим, что независимые переменные представлены в стандартизованном виде, т. е. корреляционная матрица. Как и прежде, оценка МНК. Легко видеть, что

поэтому в качестве оценки можно взять

По первому варианту выбирается так, чтобы для в противном случае По второму варианту для выбирается так же, как и по первому, а при значение полагается бесконечно большим, т. е. Корректность выбора в указанных правилах следует из того, что убывающая функция Оба правила направлены на уменьшение длины вектора оценки. Существенным недостатком обоих правил является отсутствие теоретической аргументации; при наличии мультиколлинеарности оценка будет не наилучшей, поэтому оценка I также является не весьма удовлетворительной. Свойства оценок МНК, оценок, построенных по описанным правилам, исследовались методом Монте-Карло. При наличии мультиколлинеарности в большинстве случаев ридж-оценки оказывались лучше оценки МНК.

Рис. 6.8. Ридж-след первой координаты ридж-оценки

А. Гоэрл и Р. Кеннард [131] предлагают строить так называемый «ридж-след» для каждой координаты выбирать на основе визуального анализа ридж-следа. Конкретных рекомендаций по выбору они не дают. На рис. 6.8 приведен ридж-след для регрессии-примера. Аргументированно выбрать на основе этого графика затруднительно. Мы предлагаем исследовать не ридж-след оценок, а ридж-след суммы квадратов отклонений. При этом значение может быть выбрано следующим образом. При наличии мультиколлинеарности на отрезке рост суммы квадратов отклонений не очень большой, а на отрез: значительно выше, полагаем,

Остановимся на геометрии ридж-оценки. Рассмотрим для простоты случай Ридж-оценку будем искать для ортогонализованной модели (6.29). Ридж-оценкой в этом случае являются

где

При изменении к от до ридж-оценка определяет некую кривую. Установим вид этой кривой. Выразим через исключив тем самым

Как следует из (6.35), графиком от является гипербола (рис. 6.9). Асимптотой гиперболы является — Не теряя общности, можно считать тогда При переходе к модели (6.25) необходимо сделать обратное ортогональное преобразование, перейти к системе координат

Рис. 6.9. Зависимости при уровень суммы квадратов отклонений, оценка МНК уравнения (6.25)

До сих пор мы рассматривали простейший вариант ридж-оценки, когда в качестве матрицы К в выражении (6.22) бралась матрица, пропорциональная матрице Рассмотрим более общий случай, когда К — диагональная матрица, т. е.

Ридж-оценкой для ортогонализованной модели (6.29) является

Аналогично оценке (6.27) может быть найден средний квадрат ошибки

Необходимым условием минимума является равенство первых производных этой функции нулю, т. е.

откуда

Значения (6.36) дают глобальный минимум Найдем гессиан

Таким образом, гессиан представляет собой диагональную матрицу, которая будет положительно определена в

Поскольку то решение (6.36) дает локальный минимум на множестве (6.37). Этот минимум будет глобальным, так как для функции положительные.

На основе (6.36) А. Гоэрл и Р. Кеннард [132] предложили итеративную процедуру оценивания: с помощью МНК строится оценка находятся значения по формуле (6.36), затем — ридж-оценка, следующие значения и т. д. В. Хеммерл [126] нашел условия сходимости этого процесса, а также дал аналитическую форму предельной оценки. Обозначим

где оценка МНК ортогонализованной регрессии (6.29)

Теорема 6.3 [126]. Если то последовательность имеет предел, равный

На основе этой теоремы с учетом (6.36) может быть легко найден аналитический вид предельной оценки:

Найдем предельную ридж-оценку для регрессии-примера, используя теорему Хеммерла. Все результаты показаны в табл. 6.2. В данной регрессии поэтому Для значения находятся по формуле (6.38), значение вектора по формуле (6-39). Последняя строка таблицы есть ридж-оценка исходного уравнения регрессии. Как видим, ридж-оценка сильно отличается от оценки МНК.

Таблица 6.2 (см. скан)

Упражнения 6.4

(см. скан)