10.8. Обратная теорема Шеннона
Для доказательства обратной теоремы Шеннона воспользуемся неравенством Фано (10.7.2). Докажем, что если скорость передачи [превышает пропускную способность, то вероятность ошибки не [может быть сделана сколь угодно малой. Другими словами, нельзя взять 
равновероятных сообщений. Предположим, что такая попытка сделана. Тогда для 
расширения алфавита получаем, что изменение энтропии 
не превышает 
(пропускной способности, измеренной в блоках по 
[символам и определяемой как верхняя грань]. Поскольку 
имеем
Далее 
Перегруппировывая члены, получаем
Применив неравенство Фано (10.7.2), запишем
Поскольку 
(см. разд. 8.5), используем неравенство 
тогда
Поэтому
и правая часть не зависит от 
При 
вероятность ошибки 
отделена от 0. Таким образом, если скорость превышает
пропускную способность, вероятность ошибки не может быть сделана сколь угодно малой.
Для того чтобы проиллюстрировать эту теорему, предположим что нужно передавать информацию со скоростью, превышающей пропускную способность. Если передавать по каналу каждый второй символ, их можно достоверно передать по каналу. Что касается остальных символов, то для каждого из них приемник бросает монету и угадывает этот символ примерно в половине случаев; таким образом, примерно 3/4 сообщения передается верно, 
ошибочно.
