10.7. Оценка Фано

Для доказательства обращения теоремы Шеннона, утверждающего, что нельзя передавать сигналы со скоростью, превышающей

пропускную способность канала С, понадобится важная оценка, полученная Фано. Для простоты используем обозначение

где [см. равенство (10.2.5)].

Рассмотрим выражение

Неопределенность задаваемая равенством (7.5.4), выражается аналогичным образом

Вычитая из этого выражения равенство (10.7.1), получаем

Для того чтобы применить неравенство , следует перейти к логарифмам по основанию

Применим это неравенство к каждому слагаемому в сумме. Множитель выносится из каждого слагаемого в правой Оставшиеся члены в правой части дают

Отсюда следует важное неравенство Фано:

Заметим сначала, что при выводе неравенства Фано не использовалось никакое конкретное решающее правило, хотя вероятность ошибки зависит от решающего правила. Зададимся далее вопросом, когда (10.7.2) переходит в равенство? Равенство получается, когда т. е. при Поскольку соответствующее преобразование применялось в обеих суммах, это соответствует тому, что для всех всех для всех

Второе равенство, конечно, следует из первого, потому что для всех