§ 3.9. Прямая теорема кодирования для дискретных каналов без памяти
В этом параграфе будет рассмотрен произвольный дискретный канал без памяти. Напомним, что его информационная емкость
где максимум берется по всем распределениям вероятностей 
на множестве X входных сигналов канала.
Для дискретного канала без памяти при любом распределении вероятностей 
где
— независимые одинаково распределенные случайные величины, имеющие ограниченные дисперсии. Этого оказывается достаточно, чтобы доказать убывание правой части неравенства (3.8.24) к нулю при увеличении 
Теорема 3.9.1. Пусть С — информационная емкость дискретного канала без памяти. При любом 
и любом положительном 6 существует код 
максимальная вероятность ошибки которого удовлетворяет неравенству 
Доказательство. Пусть 
Выберем параметр 
в соответствии с (3.8.20), а распределение 
таким, которое максимизирует среднюю взаимную информацию в формуле (3.9.1). По теореме 3.8.1 при 
существует код 
максимальная вероятность ошибки декодирования которого удовлетворяет неравенству
где 
удовлетворяет неравенству (3.8.24).
Поскольку для рассматриваемого канала выполняется соотношение (3.9.2), то
и
Так как случайные величины 
независимы, одинаково распределены, имеют математическое ожидание 
и ограниченную дисперсию, то в силу закона больших чисел правая часть последнего неравенства стремится к нулю при увеличении 
к бесконечности. Таким образом, оба слагаемых в (3.9.4) стремятся к нулю, и поэтому найдется такое 
и такой код 
что максимальная вероятность ошибки меньше любого заданного наперед положительного числа 6. Теорема доказана.
Этот результат совместно с обратной теоремой кодирования (теорема 3.4.1) позволяет сформулировать следующее утверждение.
Следствие 3.9.1. Пусть С — пропускная способность дискретного канала без памяти, т. е. такое число, что для каждого 
существует код 
с максимальной вероятностью ошибки, меньшей чем заданное наперед произвольное
положительное число, и что для любого 
не существует кода с таким свойством. Пусть С — инюрмационная емкость, определяемая формулой (3.9.1). Тогда
