§ 2.4. Ортогональные преобразования случайных векторов

Из рассмотрения относительной энтропии -мерных распределений вероятностей (системы случайных величин) видно, что при возникают серьезные технические трудности, если только с. в. не являются статистически независимыми. В этом параграфе будет показано, что многие трудности можно преодолеть с помощью преобразования системы координат, при котором данная система с. в. переходит в систему некоррелированных с. в.

Пусть система Мы будем рассматривать эту систему как случайный вектор в -мерном евклидовом пространстве. Пусть корреляционная матрица вектора X, где корреляционные моменты, определяемые соотношением (2.3.19). Здесь мы не будем предполагать, что обязательно отличен от нуля, т. е. рассматриваются и вырожденные распределения.

Всякая корреляционная -матрица является симметрической, т. е. , где символ транспонирования (замены местами строк и столбцов), и неотрицательно определенной. Последнее означает, что для любого ненулевого вектора

где равенство — следствие определения матричного произведения вектора-строки матрицы К и вектора-столбца Если в (2.4.1) имеет место строгое неравенство, то матрица К называется положительно определенной. Неотрицательная определенность корреляционной матрицы следует из того, что ее можно представить в виде

где вектор математических ожиданий и справа написано математическое ожидание произведения вектора-столбца на вектор-строку т. е. математическое ожидание матрицы размера Для любого неслучайного вектора z

где использована перестановочность взятия математического ожидания и суммирования, а также введена с. в.

Известно (см., например, [1]), что для любой симметрической матрицы существует такая система ортонормальных векторов что

Действительные числа называются собственными числами, а векторы собственными векторами матрицы К, причем — собственный вектор, соответствующий собственному числу Систему равенств (2.4.5) можно записать в матричном виде:

где

— матрица, строки которой — собственные векторы матрицы диагональная матрица с элементами

на главной диагонали. В силу ортонормальности собственных векторов матрица является ортогональной, т. е.

где единичная -матрица.

Используя хорошо известные свойства определителей и, в частности, то, что можно получить, что

Всякая квадратная -матрица А задает некоторое линейное преобразование -мерного векторного пространства в себя, при котором вектор переводится в вектор Рассмотрим линейное преобразование, задаваемое ортогональной матрицей Такое преобразование называется ортогональным. Для любого вектора х

Заметим, что всякое линейное преобразование переводит нулевой вектор в себя, а всякое ортогональное преобразование сохраняет длину вектора. Действительно, если то

есть длина вектора х. Очевидно,

т. е. длина преобразованного вектора у равна длине исходного вектора х. Это свойство ортогонального преобразования позволяет его интерпретировать как вращение системы координат -мерного векторного пространства вокруг начала координат.

Пусть X — случайный вектор с корреляционной матрицей ортогональная матрица, образованная собственными векторами матрицы Пусть случайный вектор, получающийся в результате ортогонального преобразования с матрицей из случайного вектора

Обозначим через корреляционную матрицу вектора К. Легко видеть (см. (2.4.2) и (2.4.8)), что

где — векторы математических ожиданий.

Таким образом, корреляционная матрица вектора является диагональной, причем элементы главной диагонали суть

собственные числа матрицы Это означает, что с. в. являются некоррелированными и дисперсия с. в.

т. е. равна собственному числу корреляционной матрицы Если X — гауссовский случайный вектор, то У — также гауссовский случайный вектор. При этом случайные величины являются независимыми и гауссовскими, т. е.

где

Мы показали, что любую систему гауссовских с. в. с помощью ортогонального преобразования (поворота системы координат) можно преобразовать в систему независимых гауссовских с. в. Верно и обратное, если система независимых гауссовских с. в. с математическими ожиданиями ту, туп и дисперсиям» произвольная ортогональная матрица, то

есть гауссовский случайный вектор, компоненты которого имеют математические ожидания

и корреляционная матрица которого есть

При этом строки матрицы есть собственные векторы, а собственные числа матрицы Если то матрица невырождена, т. е. и система с. в. имеет невырожденное -мерное гауссовское распределение с ф. п. в. (2.3.25).

Пример 2.4.1. Пусть гяуссовский случайный вектор на плоскости с в. (2.2.36). Предположим, что тогда коррелляциоиная матрица этого вектора есть

где коэффициент корреляции с. в. Нетрудно проверить, что векторы

— собственные векторы матрицы соответствующие собственным числам

Ортогональное преобразование, задаваемое ортогональной матрицей

переводит случайный вектор X в случайный вектор с независимыми гауссовскими компонентами Очевидно, что математические ожидания и дисперсии этих с. в.

Заметим, что ортогональное преобразование есть обратимое преобразование, поскольку

В следующем примере мы покажем, как можно использовать ортогональные преобразования для вычисления средней взаимной информации между гауссовскими случайными векторами.

Пример 2.4.2. Пусть гауссовский случайный вектор корреляционной матрицей пусть такой же вектор с корреляционной матрицей который будем считать статистически независимым от вектора . В отличие от примера 2.3.3, здесь будет предполагаться, что диагональная матрица с одинаковыми ненулевыми элементами на главной диагонали. Нас будет интересовать средцяя взаимная информация между векторами Хотя вычислено в примере 2.3.3, мы снова рассмотрим вычисление этой величины с использованием ортогонального преобразования.

Пусть ортогональная матрица, соответствующая матрице Тогда

где собственные числа матрицы к

Отсюда следует, что

т. е. ортогональная матрица диагонализирует также корреляционную матрицу вектора У, и, следовательно, вектор имеет независимые

компоненты с дисперсиями Далее из обратимости ортогонального преобразования вытекает, что

где второе равенство есть следствие того, что ортогональное преобразование не меняет относительную энтропию (см. задачу и независимости векторов а третье равенство — следствие того, что относительная энтропия системы независимых с. в. равна сумме относительных энтропий каждой из с. в. системы. Нетрудно усидеть, что в рассматриваемом случае выражения (2.3.35) и (2.4.29) совпадают.