5. Пропускная способность двоичного канала с шумом
Сравним полученные результаты с теоретической формулой Шеннона. Рассматривая общую проблему дискретного канала с шумом, он получил для случая двоичного канала
С — пропускная способность в двоичных единицах на символ, р — вероятность ошибки в одном двоичном знаке. Эта формула может быть проверена элементарным путем. Мы передаем сообщение из N двоичных знаков, из которых будет 
знаков, переданных неверно. Для исправления требуется только знать положение неверных знаков. Если неверный знак был принят как 1, то его нужно просто заменить на 0, и наоборот. Информация о положении ошибок передается путем добавления специальных сигналов к двоичному коду (0 для правильного, 1 для неверного) с вероятностью р для 1 и (1 — р) для 0. Для этих добавочных сигналов требуется канал с пропускной способностью
двоичных единиц на символ. Эта дополнительная информация, будучи передаваема по тому же каналу, уменьшает его пропускную способность. Исходный канал без шума имеет С = 1, а канал с шумом имеет, следовательно, пропускную способность, выражаемую формулой (6.12). Теоретически возможно найти метод кодирования, реализующий такую пропускную способность.
В нашем предыдущем примере при 
формула (6.12) дает пропускную способность около 0,92, что означает, что только один дополнительный двоичный знак на каждые девять исходных знаков был бы достаточен для исправлений. Наш код «4 из 7» не дает полного исправления и требует 7 знаков на 4 исходных знака, что дает увеличение на 3/4 вместо 1/9.
Мы очень далеки от теоретического предела. Джилберт приходит к такому же заключению, не предлагая никакого практического решения. Его статья содержит интересное обсуждение свойств большого числа различных кодов.
Проблема исправляющих кодов имеет большое значение для связи, и за последнее время этой проблеме посвящено много работ. Метод Хэмминга (см. раздел 2) создан для автоматического исправления неверного символа. Более экономичный метод был предложен Вагнером (MIT). Его принцип состоит в нахождении символа, неверного с наибольшей вероятностью, и в исправлении этого символа. Этот метод обсужден Силвермэном и Болсером) и представляется многообещающим. Для обнаружения символа, который имеет наибольшую вероятность быть неверным, авторы используют некоторые априорные данные о взаимосвязях передаваемого сообщения. Наличие взаимосвязей означает избыточность и указывает, что число применяемых для передачи символов слишком велико. Вычисления числа необходимых символов, выполненные Силвермэном и Болсером для их метода и метода Хэмминга, по-видимому, не учитывают этого обстоятельства. Однако основная идея представляет большой интерес, и к ожидаемой дальнейшей дискуссии о различных методах исправления следует отнестись со вниманием.
