§ 3.10. Прямая теорема кодирования для дискретных стационарных каналов с аддитивным эргодическим шумом

Как было показано в § 3.7, информационная емкость дискретного стационарного канала с аддитивным по модулю шумом -канала) определяется соотношением

где объем входного алфавита канала и энтропия на сообщение источника шума, причем средняя взаимная информация на сообщение максимизируется при равномерном распределении вероятностей на при каждом значении Так как AL-канал является симметричным, то при равномерном распределении на входе распределение вероятностей на выходе канала также равномерное:

при этом нетрудно видеть, что

Здесь распределение вероятностей для источника шума.

Теорема 3.10.1. Пусть С — информационная емкость дискретного стационарного канала с аддитивным по модулю шумом. Пусть, кроме того, источник шума в таком канале — эргодический. Тогда при любом и любом положительном 6 существует код максимальная вероятность ошибки которого удовлетворяет неравенству

Доказательство. Пусть Выберем в соответствии с (3.8.20), а распределение таким, которое максимизирует среднюю взаимную информацию на сообщение, т. е. равномерное на распределение вероятностей. По теореме 3.8.1 при существует код, максимальная вероятность ошибки которого в рассматриваемом канале удовлетворяет неравенству

где

Теперь из леммы Мак-Миллана (см. § 1.9) следует, что, выбирая достаточно большим, можно сделать вероятность меньшей, чем произвольное заданное наперед положительное число. Вместе с (3.10.4) это завершает доказательство теоремы.

Рис. 3.10.1. -канал с аддитивным неэргодическим шумом.

Теорема 3.10.1 и обратная теорема кодирования 3.4.1 дают возможность высказать следующее утверждение.

Следствие 3.10.1. Пусть С — пропускная способность А -канала с эргодическим шумом и пусть С — информационная емкость, определяемая формулой (3.10.1). Тогда

Следующий пример показывает, что предположение об эргодичности шума является существенным условием совпадения пропускной способности и информационной емкости AL-канала.

Пример 3.10.1. Рассмотрим AL-канал с неэргодическим источником шума представляющим собой комбинацию двух эргодических источников Структура такого источника показана на рис. 3.10.1.

Имеется переключатель К, который подключает на выход источника с равными вероятностями либо выход источника либо — источника Переключение происходит в момент включения источника и затем положение переключателя остается неизменным в течение всего времени работы источника. Предположим, что источники имеют различные энтропии на сообщение: Тогда можно показать (см. задачу 3.10.1), что для источника

и, следовательно,

Для -канала с таким источником шума передача сообщений производится либо в канале с источником шума либо с источником шума в зависимости от положения переключателя К. Из (3.10.8) следует, что информационные емкости рассматриваемых каналов соотносятся так:

Если то максимальная вероятность ошибки может быть сделана сколь угодно малой только при условии, что в канале действует источник шума . В противном случае ни для одного кода вероятность ошибки не может быть сделана произвольно малой (по теореме 3.7.1 эта вероятность близка к единице при больших я). Так как этот канал появляется с вероятностью то средняя вероятность ошибки для любого кода в неэргодическом канале близка к Поэтому С не является пропускной способностью. Можно показать, что пропускная способность

Этот результат легко обобщается на случай неэргоднческого AL-канала, образованного более чем двумя эргодическими компонентами.