6.6. Оценка метода главных компонент

Эта оценка впервые была предложена Кендэллом [145].

Как и прежде, вместо исходной модели регрессии рассмотрим преобразованную ортогональную модель

где диагональная матрица с элементами на диагонали, равными характеристическим числам матрицы (см. уравнения (6.29)), причем Оценками МНК для (6.49) являются Если сильно коррелируют, то для некоторого близко к нулю, а значения будут большими по абсолютной величине. Дисперсии оценок, соответствующих малым значениям т. е. также будут велики; таким образом, оценки МНК при малых будут неудовлетворительными. Идея оценки метода главных компонент (principal components estimator) заключается в том, чтобы для малых значений соответствующую координату оценки считать равной нулю; более точно оценка главных компонент есть

Оценку можно рассматривать как частный случай обобщенной редуцированной оценки, матрица редукции которой диагональна, диагональные элементы равны О или 1. Производя обратное преобразование над регрессией (6.49), получим оценку главных компонент для моделей (6.25) и (1.2):

Оценка метода главных компонент имеет много общего с оценкой автоматического отсева переменных. Оба метода предлагают считать оценкой некоторой координаты нуль, если первоначальная оценка оказалась неудовлетворительной. Разница заключается в том, что отсев переменных производится для исходной модели, а оценка метода главных компонент «работает» с преобразованной моделью (6.49). Легко показать, что отсев переменных на основе -статистики не инвариантен относительно линейных

преобразований модели. Далее, при отсеве переменных основным показателем является -статистика оценки МНК, а в методе главных компонент — величина характеристического числа матрицы

Можно проверить, что оценка метода главных компонент для модели выражается в виде линейной комбинации характеристических векторов матрицы следующим образом:

На основе (6.50) нетрудно определить основные статистические характеристики оценки

Заметим, что ССКО оценки МНК равна:

Учитывая (6.53), легко сделать следующий вывод: отбрасывая в (6.54) первые членов, мы выигрываем в первой сумме квадратов ошибок (6.53) и проигрываем во второй. Чем меньше значения тем шире область где ССКО оценки метода главных компонент меньше ССКО оценки МНК. Помимо значений вектора неизвестных параметров для имеет значение направленность

На рис. 6.10 показаны оценки метода главных компонент . В системе координат эти оценки относятся к модели (6.49), в системе к модели (6.25).

Рис. 6.10. Оценки главных компонент,

Практическое применение оценок метода главных компонент наталкивается на трудности, связанные с выбором