Доказательство. Зафиксируем некоторое
и рассмотрим код
кодовыми словами
Зададим распределение вероятностей на
следующим образом. Положим
Пусть
средняя взаимная информация между входом и выходом канала, вычисленная для распределения вероятностей (3.4.5). Тогда
где
ансамбль слов рассматриваемого кода, и из определения информационной емкости следует, что
Пусть
ансамбль решений. Этот ансамбль можно рассматривать как результат отображения ансамбля
всех последовательностей да выходе канала в множество решений. Это отображение задается посредством набора решающих областей
Каждая последовательность
однозначно определяет решение
по следующему правилу:
Поскольку информация не возрастает в результате преобразований (см. теорему 2.1.2), то
Так как
и согласно
то используя неравенство (3.4.6), получим, что
или
Теперь можно воспользоваться неравенством Фано, которое, как было показано выше, выполняется для любого кода и для любого распределения вероятностей
на кодовых словах и, в частности, для кода
и распределения вероятностей (3.4.5). Обозначим через наименьший корень уравнения
Тогда из неравенства Фано и неравенства (3.4.10) следует, что средняя вероятность ошибки X для кода
удовлетворяет неравенству X Легко увидеть, что
стремится к
при
Из свойств функции
(см. предыдущий параграф) следует, что при
число
остается положительным при