2.3.3. Ортонормированное преобразование.

Преобразуем систему координат так, чтобы вектор математического ожидания

случайного вектора был бы равен нулю, т. е. положим

Тогда квадратичная форма (2.54) в новой системе координат примет вид

Найдем вектор максимизирующий при условии выполнения равенства Этот вектор получается из решения уравнения

где — множитель Лагранжа, а через обозначена совокупность частных производных . В результате получим

Для того чтобы существовал ненулевой вектор значения X должны удовлетворять следующему уравнению:

где — единичная матрица. Это уравнение называют характеристическим уравнением матрицы 2. Любое значение X удовлетворяющее этому уравнению, называют собственным значением, а соответствующий данному X вектор называют собственным вектором. Когда матрица 2 — невырожденная симметрическая матрица размера существует действительных собственных значений собственных векторов

Собственные векторы, соответствующие двум разным собственным значениям, являются ортогональными. Это можно доказать следующим образом. Для имеем

Умножая первое уравнение на второе — на Ф, и вычитая из первого уравнения второе, получим

так как — симметрическая матрица. Поскольку то

Таким образом, уравнения (2.94), (2.95) и (2.99) можно переписать в следующем виде:

где Ф — матрица порядка состоящая из собственных векторов

Рассмотрим диагональную матрицу, элементы которой равны собственным значениям:

Выражения для Ф и А будем называть соответственно матрицей собственных векторов и матрицей собственных значений.

Рассмотрим в качестве матрицы преобразования А в (2.82) собственный вектор

Тогда из (2.84) следует, что

Здесь использованы следующие соотношения:

(последнее соотношение следует из уравнения (2.101)). Анализируя уравнение (2.105), можно сделать следующие важные выводы:

1) Можно найти линейное преобразование координат такое, что в новой системе координат ковариационная матрица будет иметь диагональный вид. Это означает, что таким образом в общем случав можно получить некоррелированные случайные величины, а в случае нормальных распределений — независимые случайные величины.

Рис. 2.4. Собственные значения в собственные векторы распределения.

2) Матрица такого линейного преобразования представляет собой транспонированную матрицу собственных векторов матрицы Так как собственные векторы есть векторы, максимизирующие , то фактически в качестве новых координатных осей выбирают главные компоненты распределения. Двумерный пример подобного преобразования приведен на рис, 2.4,

3) Собственные значения являются дисперсиями преобразованного распределения.

4) Рассмотренное преобразование называют ортонормированным преобразованием, поскольку оно удовлетворяет уравнению (2.101). При этом преобразовании сохраняется евклидово расстояние, так как