5.6.2. Эпсилон-энтропия системы зависимых гауссовских случайных величин.
Будем теперь считать, что случайный вектор
образован зависимыми гауссовскими с. в. и
корреляционная матрица вектора
Метод вычисления эпсилон-энтропии в этом случае основан на применении ортогонального преобразования (см. § 2.4), которое вектор X переводит в случайный вектор с независимыми гауссовскими компонентами. Рассмотрим следующую цепочку преобразований, где через обозначена ортогональная матрица, диагонализирующая корреляционную матрицу К
Первое преобразование
переводит данный случайный вектор X в вектор X с независимыми компонентами. Затем этот вектор аппроксимируется вектором У со среднеквадратической ошибкой
Наконец, вектор У преобразуется в вектор У:
с помощью ортогонального преобразования
обратного преобразованию
Ортогональные преобразования являются обратимыми и поэтому
Покажем, что при ортогональных преобразованиях среднеквадратическая ошибка не изменяется. Среднеквадратическая ошибка
аппроксимации вектора X с помощью вектора К, очевидно, может быть записана с помощью следующего матричного выражения:
Аналогичное выражение может быть записано для среднеквадратической ошибки
аппроксимации вектора X с помощью вектора У. Тогда
где использовано то, что
как следствие этого, что
Из соотношения (5.6.30) вытекает, что при аппроксимации вектора X с помощью вектора У со среднеквадратической ошибкой, меньшей или равной
вектор X аппроксимируется вектором У со среднеквадратической ошибкой, также не превышающей
Если при этом аппроксимация X с помощью У осуществляется так, что минимизируется величина
то из (5.6.28) следует, что и аппроксимация X с помощью У осуществляется так, что минимизируется величина
Поэтому эпсилон-энтропия
гауссовского вектора X равна эпсилон-энтропии
гауссовского вектора
В п. 5.6.1 мы получили формулу, которая позволяет вычислить величину
Так как дисперсии компонент вектора
полученного в результате ортогонального преобразования из вектора X, равны собственным числам
матрицы К, то
где
есть корень уравнения