При каких ограничениях гребневая регрессия будет абсолютно корректной?

Вокруг гребневой регрессии возникает много споров. Прежде чем излагать нашу точку зрения, мы опишем две весьма ограниченные ситуации, в которых можно вполне уверенно рекомендовать гребневую регрессию как наилучший прием обработки данных.

1) Байесовская формулировка регрессионной задачи при наличии определенных априорных данных о параметрах. Она обсуждается (см. с. 291) в работе Голдштейна и Смита (Goldstein М., Smith A. F. М. Ridge-type estimators for regression analysis.- Journal of the Royal Statistical Society, 1974, B-36, p. 284-291), и упоминается также в исходной публикации Херла и Кеннарда. По существу метод гребневой регрессии может рассматриваться как процедура оценивания из данных при условии, что имеются априорные сведения или предположения о том, что меньшие значения (по модулю, т. е. по численному значению, игнорируя знак) более вероятны, чем большие значения, и что чем больше значения по абсолютной величине, тем они более невероятны. Более точно эти априорные сведения могут быть выражены с помощью многомерного нормального распределения априорных величин т. е. с помощью распределения, размах которого зависит от параметра Параметр гребневой регрессии фактически должен быть равен отношению есть обычная дисперсия отдельного наблюдения). Такой выбор величины 0 в гребневой регрессии эквивалентен предположению о том, насколько большими могут быть величины Использование очень малых 0 (например, означает, что мы не исключаем возможности для величины ргстать довольно большими. (МНК-оценки, соответствующие или стр таковы, что априори мы никак не ограничиваем величины Выбор больших значений 0 (например, означает, что мы исходим из предположения, что наиболее вероятны довольно малые Из такого понимания гребневой регрессии следует, что «стабилизация» гребневого следа с ростом 0 фактически не вытекает из экспериментальных данных; она обусловлена априорными ограничениями на возможные значения параметров.

2) Формулировка регрессионной задачи как задачи МНК-оценивания при ограничениях определенного типа на параметры. Предположим, что такая задача решается при ограничениях «сферического» типа

где известная величина. Если воспользоваться методом неопределенных множителей Лагранжа (см. приложение то можно сформировать следующую целевую функцию:

с учетом ограничения типа равенства из (6.7.13). Полагая далее , получим уравнения

решение которых выражается формулой (6.7.1). Однако в данном случае необходимо принимать во внимание ограничение Если мы решим (6.7.15) относительно и подставим полученный результат в выражение для ограничения, то получим

т. е. уравнение, позволяющее определить 0 в зависимости от заданной величины

Рис. 6.6. Гребневая регрессия как МНК-решение задачи при ограничениях

Следовательно, гребневая регрессия может рассматриваться как МНК-регрессия при сферических ограничениях на параметры и подходящием выборе величины 0, которая зависит от радиуса ограничений с. На рис. 6.6 дана геометрическая интерпретация двухпараметрического случая (в модели содержатся два параметра, не считая Обычное, без ограничений, МНК-решение соответствует «дну чаши», выраженной эллиптическими контурами суммы квадратов. (Более полное толкование подобной ситуации дается в гл. 10. Мы предлагаем читателю, не посвященному в эти

подробности, присоединиться к нам и сформулировать общие выводы об интересующих нас случаях, не заботясь здесь о деталях.) Сферические (в данном случае круговые) ограничения изображены на рис. 6.6 в виде окружности. Решение при наличии ограничения соответствует точке касания эллиптического контура наибольшего размера и окружности. Мы получим всю последовательность решений для гребневой регрессии, изменяя длину радиуса окружности от величины, при которой окружность в точности проходит через точку, отвечающую МНК-решению (чему соответствует до нуля, с = 0 (чему соответствует Чем больше радиус окружности, тем «ближе» мы к обычному МНК-решению. Гребень ридж-регрессии выражается линией, точки которой представляют собой последовательность указанных выше решений при изменении радиуса окружности.

Альтернативная точка зрения на гребневую регрессию, когда последняя рассматривается как результат минимаксного решения задачи оценивания при ограничениях излагается в статье Бунке (Вunке О. Minimax linear, ridge and shrunken estimators for linear parametrs.- Math. Operationsforsch. u. Statist., 1975, 6.)

Комментарии. Допуская ту или иную ситуацию, можно получить точное решение для гребневой регрессии. Однако при этом важны два обстоятельства.

1) Можем ли мы в действительности определить априорные ограничения, выраженные тем или иным способом, указанным выше? Так, например, если мы захотим ввести эллиптические ограничения

вместо указанных выше сферических (6.7.13), то мы получим гребневое решение, отличающееся от (6.7.15), а именно

Таким образом, точная форма ограничений на параметры может быть «критичной» по отношению к решению, которое мы получаем.

2) Применяя стандартную форму гребневой регрессии, хотим мы того или нет, по существу мы опираемся на один из указанных выше типов ограничений, не имея на то реальных оснований. Гребневая регрессия не есть панацея от всех бед. Это обычное решение задачи МНК-оценивания при наличии некоторой дополнительной информации о параметрах. Огульное применение гребневой регрессии без понимания ее предпосылок может быть опасным и приводить к заблуждениям. Если дополнительная информация разумная и не противоречит имеющимся данным, то гребневая регрессия оправдана. Простой тест для проверки их совместимости состоит в выяснении того, лежат ли ридж-оценки исходных параметров в пределах 95%-ной доверительной области эллиптического вида для этих параметров. Области такого вида выражаются неравенствами типа (2.6.15). Если точка, соответствующая вектору ридж-оценок параметров, попадает внутрь доверительной области, то выполняется строгое неравенство. Когда она попадает на внешнюю поверхность (контур) доверительной области, выполняется строгое равенство. И если она выходит за пределы доверительной области, то неравенство не удовлетворяется.

Дополнительное беспокойство вызывает следующая особенность гребневой регрессии. Характерный эффект ридж-процедуры в отличие от обычного МНК-оценивания состоит в изменении значений незначимых оценок параметров. Они увеличиваются во всяком случае больше, чем значимые оценки параметров. Поэтому сомнительно, что при такой процедуре произойдет улучшение оценивания. В большинстве методов выбора предикторных переменных при тех же условиях незначимые переменные скорее бы исключались из уравнения, чем их незначимым коэффициентам придавались бы какие-либо численные значения. Такого рода стратегия более оправдана, так как она позволяет сконцентрировать внимание на наиболее важных предикторных переменных.

С другими соображениями относительно ценности гребневой регрессии как рутинного метода оценивания можно познакомиться в работе: Тhisted R. A. Ridge regression, minimax estimation and empirical Bayes methods.- Stanford University Department of Biostatistics Technical Report, 1976, № 28. Некоторые предостережения относительно использования гребневой регрессии в экономических задачах изложены в статье Брауна и Битти (Brown W. G., Веattie В. R. Improving estimates of economic parameters by use of ridge regression with production function applications.- American Journal of Agricultural Economics, 1975, 57, p. 21-32). Замечания по процедурам определения гребневого следа содержатся в двух статьях Кониффа и Стоуна (Coniffe D., Stone J. A critical view of ridge regression. - The Statistician, 1973, 22, p. 181-187; A reply to Smith and Goldstein.-The Statistician, 1975, 24, p. 67-68). Для ознакомления с общей дискуссией см.: Draper N. R, Van Nostrand R. С. Ridge regression and James-Stein estimation: review and comments.- Technometrics, 1979, 21, p. 451-466 и Smith G., Campbell F. A critique of some ridge regression methods.- Journal of the American Statistical Association, 1980 , 75, p. 74-81, discussion p. 81-103 n. В большинстве опубликованных работ по гребневой регрессии изложение ведется в «канонической форме», которая возникает после приведения матрицы к диагональному виду. Это упрощает выражения и дает более удобный способ вычисления гребневого следа. Каноническая форма гребневой регрессии обсуждается в приложении