§ 5.7. Эпсилон-энтропия стационарного гауссовского процесса дискретного времени

В этом параграфе мы применим результаты предыдущего рассмотрения эпсилон-энтропии системы гауссовских случайных величин для вычисления эпсилон-энтропии стационарного гауссовского случайного процесса, дискретного по времени, или, что то же самое, эпсилон-энтропии стационарного дискретного по времени источника гауссовских сообщений.

Рассмотрим источник который в каждый момент времени выбирает сообщения из ансамбля и последовательность сообщений на выходе которого представляет собой стационарный случайный процесс. Будем предполагать, что процесс является гауссовским. Это означает, что для любого система с. в. имеет -мерное гауссовское распределение вероятностей с корреляционной матрицей

Напомним, что эпсилон-энтропией стационарного источника относительно критерия качества называется следующее выражение:

где

и класс условных таких, что для каждой функции из этого класса средняя ошибка относительно критерия качества не превосходит т. е.

В дальнейшем будет рассматриваться только квадратический критерий качества

Для каждого конечного мы имеем дело с гауссовским вектором X, эпсилон-энтропии которого вычислена в предыдущем разделе. Если обозначать через собственные числа матрицы то согласно (5.6.31) и (5.6.32), можно записать

Таким образом, из (5.7.1) и теоремы 5.2.3 следует, что для вычисления эпсилон-энтропии стационарного источника надо перейти к пределам в соотношениях (5.7.4) по Как мы увидим ниже, стационарность источника обусловливает сущестование этих пределов.

Введем понятие спектральной плотности мощности случайного процесса с дискретным временем. Пусть случайный вектор, образованный сообщениями на выходе стационарного источника, и его корреляционная матрица. Из условия стационарности источника следует, что каждый элемент матрицы зависит только от абсолютного значения разности т. е.

Матрицы, элементы которых удовлетворяют свойству (5.7.5), называются теплицевыми. Пусть и Из (5.7.5) следует, что и что реляционная матрица отрезка стационарного процесса полностью определяется числами являющимися корреляционными моментами с. в. которые отстоят друг от другана и единиц времени.

В дальнейшем мы будем предполагать также, что

Можно показать, что в случае гауссовских процессов это предположение равносильно предположению об эргодичности.

Рассмотрим ряд Фурье

Функция в том случае, когда она существует, называется спектральной плотностью мощности процесса, порожденного стационарным источником Далее мы ограничимся рассмотрением

лишь таких источников, для которых непрерывная и ограниченная функция. При этом существует обратное преобразование, позволяющее по спектральной плотности мощности определять корреляционные моменты

Отметим основные свойства спектральной плотности мощности случайного процесса. Из выражений (5.7.5) и (5.7.6) следует, что — действительная функция, которую можно записать в виде

Из (5.7.7) следует, что и поэтому

Можно показать также, что для всех При этом из (5.7.8) имеем

Так как Ко есть дисперсия (средняя мощность) случайного процесса на выходе источника, то из (5.7.9) следует, что функция характеризует распределение мощности по частотам.

Вывод формулы для -энтропии гауссовского стационарного источника с дискретным временем при квадратичном критерии качества основан на следующей лемме, которую мы здесь приводим без доказательства (интересующийся доказательством читатель должен обратиться к книгам Гренандера и Сегё 12] или к книге Галлагера [1]).

Лемма 5.7.1. Пусть корреляционная матрица отрезка стационарного случайного процесса с дискретным временем и спектральная плотность мощности этого процесса. Пусть неубывающая функция, определенная для всех и такая, что выполнены два условия: 1) 2) найдется число В такое, что для всех Тогда, если функция интегрируема и ограничена, то

где собственные числа матрицы

Используя утверждение леммы 5.7.1, легко найти пределы соотношений (5.7.4) и тем самым получить формулу для вычисления -энтропии гауссовского стационарного процесса.

Теорема 5.7.1. Для гауссовского стационарного случайного процесса с дискретным временем и спектральной плотностью мощности которая ограничена и интегрируема, -энтропия при квадратичном критерии качества вычисляется по формулам

Доказательство. Введем обозначения

Рассмотрим две функции Нетрудно видеть, что обе эти функции удовлетворяют условиям леммы 5.7.1. Применяя лемму 5.7.1 к (5.7.11) и (5.7.12), получим

Пусть корень уравнения и пусть . Тогда для любого найдется такое, что при

В силу непрерывности -энтропии имеем где стремится к нулю при стремящемся к нулю. Объединяя полученные неравенства, получим

Так как - 0 при 6 О, то мы показали, что для любого числа найдется достаточно большое такое, что следовательно,

Утверждение теоремы вытекает теперь из того, что значение определяется соотношениями (5.7.10).

Рис. 5.7.1. Интерпретация уравнений (5.7.10).

Второму соотношению в (5.7.10) можно придать геометрическую трактовку с помощью рассуждения о «разливании воды». Представим себе сосуд единичной длины с крышкой, форма которой задается спектральной плотностью мощности (см. рис. 5.7.1).

Тогда жидкость объема после опускания крышки установится на уровне 0. Для нахождения эпсилон-энтропии нужно проинтегрировать функцию по той области частот, в которой (на рисунке — по интервалам