7.8. Главные компоненты

Когда известна матрица или некоторая ее аппроксимация, мы можем определить, какие параметры или линейные комбинации от параметров являются хорошо определенными (малая дисперсия) и какие — слабо определенными (большая дисперсия). Дисперсия оценки параметра с номером а дается элементом а стандартное отклонение для нее — равенством Как и в разделе 7.3, картина получается полной после того, как для матрицы найдено разложение по собственным значениям, скажем,

где диагональная матрица собственных значений для матрицы

Допустим, что, по определению, мы ввели вектор новых переменных Ковариационная матрица для величин равна:

Тогда мы имеем набор новых переменных которые заменяют исходные параметры Оценки для величин зададим равенствами Так как диагональная матрица, то выборочные колебания для не коррелированы, когда Огандартное отклонение для оценки равно Величины называются главными компонентами.

Преимущество обращения к некоррелированным главным компонентам в противовес к коррелированным первоначальным параметрам особенно велико, когда (как это имеет место при нормальном распределении) отсутствие корреляций означает статистическую независимость. Только тогда мы можем строить доверительные интервалы и статистические критерии отдельно для каждой координаты.

Когда равенство выполняется, мы имеем Собственные векторы для и А совпадают, следовательно, величины совпадают с каноническими переменными. Собственные значения матрицы обратно пропорциональны собственным значениям матрицы А, т. е. Следовательно, интервал -безразличия для определяется пределами,

Длина интервала пропорциональна стандартному отклонению. В случае использования для оценивания метода наименьших квадратов и одного параметра равенство означает, что

Подобно каноническим переменным главные компоненты зависят от шкалирования переменных. Естественное шкалирование — это такое, которое так задает масштаб для каждой переменной, чтобы она имела единичную стандартную дисперсию. Этого можно достигнуть переопределением параметров так что

или

где Матрица главная диагональ которой состоит целиком из единиц, есть корреляционная матрица параметров в. Если это матрица собственных векторов матрицы то элементы вектора это главные компоненты матрицы Они не коррелированы, и их дисперсии — это собственные значения матрицы Мы назовем их шкалированными главными компонентами матрицы

На практике наибольший интерес представляет определение главных компонент, имеющих необычно большие дисперсии, поскольку они содержат ключи к разгадке неадекватности в модели или данных. Это обстоятельство обсуждается дальше в разделе 7.18. Если матрица известна, но неизвестны "ее собственные значения и векторы, то наиболее легко, на основе мощного метода, мы можем определить ее наибольшее собственное значение и соответствующий собственный вектор.