4.7. Анализ главных компонент и его связь с представлением Крамера

Пусть Y есть -компонентная векторная случайная величина с ковариационной матрицей Если компоненты вектора Y коррелированы и их число J больше двух или больше трех, то часто бывает трудно понять существенную статистическую природу Y. Рассмотрим поэтому задачу нахождения величины более простой, чем Y, но которая содержала бы почти всю статистическую информацию, заключенную в Y. Будем искать вида

    (4.7.1)

где А — некоторая -матрица, такая, что Требование, чтобы величина содержала большую часть статистической информации, имеющейся в Y, формализуем следующим образом: должна минимизировать функцию

Справедлива

Теорема 4.7.1. Пусть Y есть. -компонентная величина с ковариационной матрицей Матрица А размера которая задает по формуле (4.7.1) и минимизирует функцию (4.7.2), имеет вид

    (4.7.3)

где есть собственный вектор матрицы

При этом минимальное значение (4.7.2) равно

    (4.7.4)

где есть собственное значений Экстремальными матрицами В, С будут

Компоненты величины g называются главными компонентами Y. Они имеют вид и для них

Величина , следовательно, проще устроена, чем

Эта теорема приводит к рассмотрению аппроксимации -компонентной величины Y посредством выражения

    (4.7.7)

и ее I-й компоненты посредством выражения

    (4.7.8)

Ошибка при такой аппроксимации величины Y с помощью (4.7.7), как показывает (4.7.4), зависит от величины собственных значений с номерами Если то ошибка равна 0 и выражение (4.7.8) дает представление Y через некоррелированные величины

Мы подробно изучим свойства главных компонент в гл. 9. Главные компоненты были введены в работе Hotelling (1933). Теорема 4.7.1 восходит к Kramer Н. P., Mathews (1956), а также Rao (1964, 1965).

Теперь перейдем к случаю, когда величина Y представляет собой отрезок наблюдений некоторого действительного стационарного временного ряда . В этом случае

    (4.7.9)

Предположим, что автоковариационная

функция ряда Тогда

    (4.7.10)

Согласно изложенному выше, главные компоненты вектора (4.7.9) будут выражаться через собственные векторы матрицы (4.7.10). Эта матрица представляет собой конечную теплицеву матрицу, поэтому, как следует из § 3.7, ее собственные значения и собственные векторы будут приблизительно равны соответственно

    (4.7.11)

и

    (4.7.12)

здесь . Главные компоненты вектора (4.7.9) будут, следовательно, примерно равны

    (4.7.13)

Если мы вернемся к выражению (4.6.2), то увидим, что выражение (4.7.13) равняется , т. е. конечному преобразованию Фурье, на котором было основано преобразование Крамера и которое, как мы уже отмечали, было взято в качестве основной статистики при исследовании отрезков наблюдений временных рядов.

Следуя теореме 4.7.1, приходим к такой аппроксимации для

    (4.7.14)

суммирование в выражении (4.7.14) ведется по s, соответствующим К наибольшим значениям величин (4.7.11). Если взять и устремить Т к бесконечности, то следовало бы ожидать, что значения (4.7.14) будут очень близки к X (t). Действительно, (4.7.14) стремится при к

    (4.7.15)

если в каком-то смысле

    (4.7.16)

Выражение (4.7.15) является преобразованием Крамера ряда . Представление Крамера получается, таким образом, как предельный результат при анализе главных компонент ряда

Craddock (1965) провел эмпирический анализ главных компонент для ковариационной матрицы, построенной на основе отрезка наблюдений временного ряда. Полученные им главные компоненты выглядели как сумма гармонических колебаний в (4.7.13).

Набор собственных значений матрицы иногда называют спектром. Спектр матрицы, задаваемой формулой (4.7.10), аппроксимируется, как показывает (4.7.11), числами , где — спектр мощности ряда Таким образом, мы сразу же убеждаемся в связи этих двух разных типов спектра.