§ 3.10. Прямая теорема кодирования для дискретных стационарных каналов с аддитивным эргодическим шумом
Как было показано в § 3.7, информационная емкость дискретного стационарного канала с аддитивным по модулю
шумом
-канала) определяется соотношением
где
объем входного алфавита канала и
энтропия на сообщение источника шума, причем средняя взаимная информация на сообщение
максимизируется при равномерном распределении вероятностей
на
при каждом значении
Так как AL-канал является симметричным, то при равномерном распределении на входе распределение вероятностей
на выходе
канала также равномерное:
при этом нетрудно видеть, что
Здесь
распределение вероятностей для источника шума.
Теорема 3.10.1. Пусть С — информационная емкость дискретного стационарного канала с аддитивным по модулю
шумом. Пусть, кроме того, источник шума в таком канале — эргодический. Тогда при любом
и любом положительном 6 существует код
максимальная вероятность ошибки которого удовлетворяет неравенству
Доказательство. Пусть
Выберем
в соответствии с (3.8.20), а распределение
таким, которое максимизирует среднюю взаимную информацию на сообщение, т. е.
равномерное на
распределение вероятностей. По теореме 3.8.1 при
существует код, максимальная вероятность ошибки которого в рассматриваемом канале удовлетворяет неравенству
где
Теперь из леммы Мак-Миллана (см. § 1.9) следует, что, выбирая
достаточно большим, можно сделать вероятность
меньшей, чем произвольное заданное наперед положительное число. Вместе с (3.10.4) это завершает доказательство теоремы.
Рис. 3.10.1.
-канал с аддитивным неэргодическим шумом.
Теорема 3.10.1 и обратная теорема кодирования 3.4.1 дают возможность высказать следующее утверждение.
Следствие 3.10.1. Пусть С — пропускная способность А
-канала с эргодическим шумом и пусть С — информационная емкость, определяемая формулой (3.10.1). Тогда
Следующий пример показывает, что предположение об эргодичности шума является существенным условием совпадения пропускной способности и информационной емкости AL-канала.
Пример 3.10.1. Рассмотрим AL-канал с неэргодическим источником шума
представляющим собой комбинацию двух эргодических источников
Структура такого источника показана на рис. 3.10.1.
Имеется переключатель К, который подключает на выход источника
с равными вероятностями либо выход источника
либо — источника
Переключение происходит в момент включения источника
и затем положение переключателя остается неизменным в течение всего времени работы источника. Предположим, что источники
имеют различные энтропии на сообщение:
Тогда можно показать (см. задачу 3.10.1), что для источника
и, следовательно,
Для
-канала с таким источником шума передача сообщений производится либо в канале с источником шума
либо с источником шума
в зависимости от положения переключателя К. Из (3.10.8) следует, что информационные емкости рассматриваемых каналов соотносятся так: