Всякая корреляционная
-матрица является симметрической, т. е.
, где
символ транспонирования (замены местами строк и столбцов), и неотрицательно определенной. Последнее означает, что для любого ненулевого вектора
где равенство — следствие определения матричного произведения вектора-строки
матрицы К и вектора-столбца
Если в (2.4.1) имеет место строгое неравенство, то матрица К называется положительно определенной. Неотрицательная определенность корреляционной матрицы следует из того, что ее можно представить в виде
где
вектор математических ожиданий и справа написано математическое ожидание произведения вектора-столбца
на вектор-строку
т. е. математическое ожидание матрицы размера
Для любого неслучайного вектора z
где использована перестановочность взятия математического ожидания и суммирования, а также введена с. в.
Известно (см., например, [1]), что для любой симметрической матрицы
существует такая система ортонормальных векторов
что
Действительные числа
называются собственными числами, а векторы
собственными векторами матрицы К, причем — собственный вектор, соответствующий собственному числу Систему равенств (2.4.5) можно записать в матричном виде:
где
— матрица, строки которой — собственные векторы матрицы
диагональная матрица с элементами
на главной диагонали. В силу ортонормальности собственных векторов матрица
является ортогональной, т. е.
где
единичная
-матрица.
Используя хорошо известные свойства определителей и, в частности, то, что
можно получить, что
Всякая квадратная
-матрица А задает некоторое линейное преобразование
-мерного векторного пространства в себя, при котором вектор
переводится в вектор
Рассмотрим линейное преобразование, задаваемое ортогональной матрицей
Такое преобразование называется ортогональным. Для любого вектора х
Заметим, что всякое линейное преобразование переводит нулевой вектор в себя, а всякое ортогональное преобразование сохраняет длину вектора. Действительно, если
то
есть длина вектора х. Очевидно,
т. е. длина преобразованного вектора у равна длине исходного вектора х. Это свойство ортогонального преобразования позволяет его интерпретировать как вращение системы координат
-мерного векторного пространства вокруг начала координат.
Пусть X — случайный вектор с корреляционной матрицей
ортогональная матрица, образованная собственными векторами матрицы Пусть
случайный вектор, получающийся в результате ортогонального преобразования с матрицей
из случайного вектора
Обозначим через
корреляционную матрицу вектора К. Легко видеть (см. (2.4.2) и (2.4.8)), что
где
— векторы математических ожиданий.
Таким образом, корреляционная матрица вектора
является диагональной, причем элементы главной диагонали суть
собственные числа матрицы
Это означает, что с. в.
являются некоррелированными и дисперсия с. в.
т. е. равна
собственному числу корреляционной матрицы
Если X — гауссовский случайный вектор, то У — также гауссовский случайный вектор. При этом случайные величины
являются независимыми и гауссовскими, т. е.
где
Мы показали, что любую систему гауссовских с. в. с помощью ортогонального преобразования (поворота системы координат) можно преобразовать в систему независимых гауссовских с. в. Верно и обратное, если
система независимых гауссовских с. в. с математическими ожиданиями ту,
туп и дисперсиям»
произвольная ортогональная матрица, то
есть гауссовский случайный вектор, компоненты которого имеют математические ожидания
и корреляционная матрица
которого есть
При этом строки матрицы
есть собственные векторы, а
собственные числа матрицы
Если
то матрица
невырождена, т. е.
и система с. в.
имеет невырожденное
-мерное гауссовское распределение с ф. п. в. (2.3.25).
Пример 2.4.1. Пусть
гяуссовский случайный вектор на плоскости с
в. (2.2.36). Предположим, что
тогда коррелляциоиная матрица этого вектора есть
где
коэффициент корреляции с. в.
Нетрудно проверить, что векторы
— собственные векторы матрицы
соответствующие собственным числам
Ортогональное преобразование, задаваемое ортогональной матрицей
переводит случайный вектор X в случайный вектор
с независимыми гауссовскими компонентами
Очевидно, что математические ожидания и дисперсии этих с. в.
Заметим, что ортогональное преобразование есть обратимое преобразование, поскольку
В следующем примере мы покажем, как можно использовать ортогональные преобразования для вычисления средней взаимной информации между гауссовскими случайными векторами.
Пример 2.4.2. Пусть
гауссовский случайный вектор
корреляционной матрицей
пусть
такой же вектор с корреляционной матрицей
который будем считать статистически независимым от вектора
. В отличие от примера 2.3.3, здесь будет предполагаться, что
диагональная матрица с одинаковыми ненулевыми элементами
на главной диагонали. Нас будет интересовать средцяя взаимная информация
между векторами
Хотя
вычислено в примере 2.3.3, мы снова рассмотрим вычисление этой величины с использованием ортогонального преобразования.
Пусть
ортогональная матрица, соответствующая матрице
Тогда
где
собственные числа матрицы
к
Отсюда следует, что
т. е. ортогональная матрица
диагонализирует также корреляционную матрицу
вектора У, и, следовательно, вектор
имеет независимые
компоненты с дисперсиями
Далее из обратимости ортогонального преобразования вытекает, что
где второе равенство есть следствие того, что ортогональное преобразование не меняет относительную энтропию (см. задачу
и независимости векторов
а третье равенство — следствие того, что относительная энтропия системы независимых с. в. равна сумме относительных энтропий каждой из с. в. системы. Нетрудно усидеть, что в рассматриваемом случае выражения (2.3.35) и (2.4.29) совпадают.