13.3. Экстремальные свойства главных компонент. Их интерпретация

Свойство наименьшей ошибки «автопрогноза» или наилучшей самовоспроизводимости. Можно показать [293, 283, 284], что с помощью первых главных компонент исходных признаков достигается наилучший прогноз этих признаков среди всех прогнозов, которые можно построить с помощью линейных комбинаций набора из произвольных признаков.

Поясним и уточним сказанное. Пусть требуется заменить исходный исследуемый -мерный вектор наблюдений X на вектор меньшей размерности , в котором каждая из компонент являлась бы линейной комбинацией исходных (или каких-либо других, вспомогательных) признаков, теряя при этом не слишком много информации. Информативность нового вектора Z зависит от того, в какой степени введенных линейных комбинаций дают возможность «реконструировать» исходных (измеряемых на объектах) признаков. Естественно полагать, что ошибка прогнозапо Z (обозначим ее а будет определяться так называемой остаточной дисперсионной матрицей вектора X при вычитании из него наилучшего прогноза по Z, т. е. матрицей где

Здесь — наилучший, в смысле метода наименьших квадратов, прогноз по компонентам , где — некоторая функция (качества предсказания) от элементов остаточной дисперсионной матрицы А.

В [293] решалась задача наилучшего прогноза X только в классе линейных комбинаций от исходных признаков и рассмотрены естественные меры ошибки прогноза, такие, как

(13.11)

Здесь — соответственно слей и евклидова норма матрицы . Рао показал, что функции (13.11) и (13.12) одновременно достигают минимума тогда и только тогда, когда в качестве выбраны первые главных компонент вектора X, причем величина ошибки прогноза о явным образом выражается через последние собственных чисел исходной ковариационной матрицы или через последние собственных чисел выборочной ковариационной матрицы , построенной по наблюдениям . В частности,

В работах [283, 284] эта схема обобщена на случай произвольных предсказывающих признаков и более широкого класса функций и показано, что ) достигается тогда и только тогда, когда в качестве искомых предсказывающих признаков берутся сами исследуемые (измеряемые) признаки а в качестве линейных комбинаций (предикторов) от них выбраны первые главных компонент вектора X. При этом величина ошибки прогноза , как и прежде, определяется лишь последними собственными значениями исходной ковариационной матрицы .

В эту схему укладывается, в частности, случай в котором о

Поясним идею описания (прогноза) исходных признаков с помощью меньшего, чем , числа их линейных комбинаций на примере 13.1.

В этом примере Зададимся целью снизить размерность исходного факторного пространства до единицы т. е. описать все три признака с помощью одной линейной комбинации от них.

В соответствии с описанным выше экстремальным свойством «автопрогноза» главных компонент возьмем в качестве этой единственной линейной комбинации первую главную компоненту, т. е. переменную

Метод наименьших квадратов приводит к следующему правилу вычисления неизвестных коэффициентов с. 209]:

Подставляя в эту формулу значения взятые из ковариационной матрицы 2 примера 13.7, получаем

где — случайные (остаточные) ошибки прогноза исходных центрированных компонент по первой главной компоненте

Если в качестве относительной ошибки прогноза исходного признака по первой главной компоненте рассмотреть величину , то несложные подсчеты дают

Суммарная характеристика относительной ошибки прогноза признаков и по (в соответствии с вышеописанным) может быть подсчитана по формуле

Свойства наименьшего искажения геометрической структуры исходных точек (наблюдений) при их проектировании в пространство меньшей размерности «натянутое» на первых главных компонент. Всякий переход к меньшему числу новых переменных осуществляемый с помощью линейного преобразования (матрицы) , т. е.

или в матричной записи

(13.13)

удобнее будет рассматривать теперь как проекцию исследуемых наблюдений из исходного факторного пространства в некоторое подпространство меньшей размерности

Геометрическая интерпретация сформулированных выше экстремальных свойств «автопрогноза» (самовоспроизводи-мости) главных компонент позволяет получить следующие интересные свойства.

Рис. 13.2 Эллипс рассеяния исследуемых наблюдений и направление координатных осей главных компонент

Свойство 1. Сумма квадратов расстояний от исходных точек-наблюдений до пространства, натянутого на первые главных компонент, наимень шая относительно всех других подпространств размерности , полученных с помощью произвольного линейного преобразования исходных координат.

Это свойство станет понятным (в свете вышеописанного экстремального свойства «автопрогноза»), если напомнить, что сумма квадратов расстояний от исходных точек до подпространства, натянутого на первых главных компонент, есть не что иное, как умноженная на (общее число наблюдений) суммарная дисперсия остаточных компонент (ошибок прогноза) следовательно, эта сумма квадратов равна ). Наглядным пояснением этого свойства может служить рис. 13.2, на котором ось соответствует подпространству, натянутому на первую главную компоненту (т. е. а сумма квадратов расстояний до этого подпространства есть сумма перпендикуляров, опущенных из точек, изображающих наблюдения на эту ось (сама ось может быть интерпретирована в данном случае как линия ортогональной регрессии см. [7, с. 127]).

Свойство 2.

Среди всех подпространств заданной размерности (), полученных из исследуемого факторного пространства с помощью произвольного линейного преобразования исходных координат в подпространстве, натянутом на первые главных компонент, наименее искажается сумма квадратов расстояний между всевозможными парами рассматриваемых точек-наблюдений.

Поясним это свойство. Пусть — подпространство размерности , натянутое на оси получаемые из исходных осей с помощью произвольного линейного преобразования (13.13), а — проекции исходных наблюдений в подпространство т. е. запись исходных наблюдений в координатах подпространства . Введем в рассмотрение величины

выражающие суммы квадратов расстояний между всевозможными парами имеющихся наблюдений соответственно в исходном пространстве и в подпространстве

Из простых геометрических соображений очевидно, что всегда при .

Рассматривая в качестве меры искажения суммы квадратов попарных взаимных расстояний между точками-наблюдениями величину , можно показать [293], что

где — матрица размера строками которой являются первые собственных векторов исходной ковариационной матрицы (т. е. подпространство ) является подпространством, натянутым на первые главных компонент вектора наблюдений X).

Свойство 3. Среди всех подпространств заданной размерности полученных из исследуемого факторного пространства с помощью произвольного линейного преобразования исходных координат в пространстве, натянутом на первые главных компонент, наименее искажаются расстояния от рассматриваемых точек-наблюдений до их общего «центра тяжести», а также углы между прямыми, соединяющими всевозможные пары точек-наблюдений с их общим «центром тяжести».

Поясним это свойство. Рассмотрим матрицу G размера «центрированных» наблюдений Здесь, как и прежде, — исходные наблюдения, а — средняя арифметическая по всем наблюдениям признака, т. е.

Введем в рассмотрение матрицу размера . Нетрудно установить геометрический смысл элементов этой матрицы:

это квадрат расстояния от точки-наблюдения до общего «центра тяжести» X, а

величина, пропорциональная косинусу угла между прямыми, соединяющими точки с центром тяжести X.

Если рассмотреть, кроме того, матрицу наблюдений являющихся проекциями исходных (центрированных) наблюдений в подпространство и соответствующую ей матрицу , то оказывается, что

где под понимается, как обычно, евклидова норма матрицы A, a соответствует ранее введенным обозначениям.

Из описанного выше следует, что естественной мерой относительного искажения геометрической структуры исходной совокупности наблюдений при их проектировании в пространство меньшей размерности, натянутое на первые главных компонент, является величина либо величина

При неизвестной истинной ковариационной матрице ее собственные значения следует заменить собственными значениями выборочной ковариационной матрицы Е (соответственно теоретические характеристики

х и у заменятся своими выборочными аналогами .