§ 5.8. Формулировка прямой теоремы кодирования для стационарного гауссовского источника с дискретным временем

Обратная теорема кодирования (см. § 5.3) верна для произвольных непрерывных стационарных источников и произвольного критерия качества. Следовательно, и для стационарного гауссовского источника с эпсилон-энтропией относительно квадратического критерия качества верно утверждение о том, что для любого кода кодирующего источник со скоростью средняя ошибка больше, чем

Ниже мы сформулируем прямую теорему кодирования, верную для стационарного гауссовского источника, который обладает следующим свойством: корреляционный момент на выходе источника стремится к нулю, когда Как отмечалось выше, это требование эквивалентно эргодичности стационарного гауссовского источника. Эргодические непрерывные источники с пределяются в точности так же, как и дискретные (см. определение 1.9.1).

Теорема 5.8.1. Пусть источник порождает стационарный эргодический гауссовский случайный процесс дискретного времени и имеет эпсилон-энтропию относительно квадратического критерия качества Тогда для произвольного

положительного при достаточно больших найдется -код, кодирующий отрезки сообщений источника длины такой, что его скорость и средняя ошибка

Доказательство этой теоремы опирается на построение высоковероятного множества реализаций на выходе стационарного гауссовского источника, аналогичного множеству точек «твердой» сферы для гауссовского источника без памяти. Идея построения такого множества подсказывается задачей 5.8.2. Однако техническая реализация этой идеи довольно сложна, и поэтому доказательство теоремы опускается.

Задачи, упражнения и дополнения

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

КРАТКИЙ ИСТОРИЧЕСКИЙ КОММЕНТАРИЙ И ЛИТЕРАТУРА

Постановка задачи кодирования источников при заданном критерии качества принадлежит К. Шеннону [7]. Он впервые вычислил величину эпсилон-энтропии для гауссовского источника без памяти. Термин эпсилон-энтропия принадлежит А. Н. Колмогорову [4], который впервые вычислил величину эпсилон-энтропии для гауссовского случайного процесса. Прямая теорема кодирования с заданным критерием качества для дискретных источников была доказана К. Шенноном [8]. Общая прямая теорема кодирования для источников без памяти была доказана Р. Л. Добрушиным [3]. Обобщение этой теоремы для произвольных эргодических источников получили М. С. Пинскер [6] и К. Мартон [5].

(см. скан)