§ 3.9. Прямая теорема кодирования для дискретных каналов без памяти
В этом параграфе будет рассмотрен произвольный дискретный канал без памяти. Напомним, что его информационная емкость
где максимум берется по всем распределениям вероятностей
на множестве X входных сигналов канала.
Для дискретного канала без памяти при любом распределении вероятностей
где
— независимые одинаково распределенные случайные величины, имеющие ограниченные дисперсии. Этого оказывается достаточно, чтобы доказать убывание правой части неравенства (3.8.24) к нулю при увеличении
Теорема 3.9.1. Пусть С — информационная емкость дискретного канала без памяти. При любом
и любом положительном 6 существует код
максимальная вероятность ошибки которого удовлетворяет неравенству
Доказательство. Пусть
Выберем параметр
в соответствии с (3.8.20), а распределение
таким, которое максимизирует среднюю взаимную информацию в формуле (3.9.1). По теореме 3.8.1 при
существует код
максимальная вероятность ошибки декодирования которого удовлетворяет неравенству
где
удовлетворяет неравенству (3.8.24).
Поскольку для рассматриваемого канала выполняется соотношение (3.9.2), то
и
Так как случайные величины
независимы, одинаково распределены, имеют математическое ожидание
и ограниченную дисперсию, то в силу закона больших чисел правая часть последнего неравенства стремится к нулю при увеличении
к бесконечности. Таким образом, оба слагаемых в (3.9.4) стремятся к нулю, и поэтому найдется такое
и такой код
что максимальная вероятность ошибки меньше любого заданного наперед положительного числа 6. Теорема доказана.
Этот результат совместно с обратной теоремой кодирования (теорема 3.4.1) позволяет сформулировать следующее утверждение.
Следствие 3.9.1. Пусть С — пропускная способность дискретного канала без памяти, т. е. такое число, что для каждого
существует код
с максимальной вероятностью ошибки, меньшей чем заданное наперед произвольное
положительное число, и что для любого
не существует кода с таким свойством. Пусть С — инюрмационная емкость, определяемая формулой (3.9.1). Тогда