14. Рассмотрение полученных результатов
Доказательство теоремы 11, не будучи чистым доказательством существования, обладает некоторыми недостатками подобных доказательств. Попытка осуществить хорошее приближение к идеальному кодированию по методу, примененному в доказательстве, вообще говоря, представляется непрактичной. Действительно, за исключением нескольких довольно тривиальных случаев и некоторых предельных ситуаций, никакого явного описания последовательных приближений к идеальному методу не найдено. Вероятно, это не случайно, а связано с трудностью задания явного построения хорошей аппроксимации случайной последовательности.
Приближение к идеальному методу передачи обладало бы тем свойством, что если сигнал изменен шумом в умеренных пределах, то оригинал все еще может быть восстановлен. Другими словами, изменение не делает, вообще говоря, принимаемый сигнал ближе к другим возможным сигналам, чем к оригиналу. Это достигается ценой введения определенной избыточности в кодировании. Избыточность должна быть введена способом, приспособленным для борьбы против действующих на канал шумов определенной структуры. Впрочем, обычно будет помогать любая избыточность источника, если она используется в точке приема. В частности, если
источник уже имеет некоторую избыточность и не делается никаких попыток устранить ее при согласовании с каналом, эта избыточность будет помогать борьбе с шумом. Например, в телеграфном канале без шума можно сэкономить около 50% времени с помощью надлежащего кодирования сообщений. Этого не делается, и большая часть избыточности английского текста остается и в символах канала. Впрочем, это имеет и преимущество, так как оказывается допустимым значительный шум в канале. Значительная часть букв может приниматься неправильно и все же восстанавливаться на основании контекста. В действительности, при этом во многих случаях получается, по-видимому, неплохое приближение к идеальному кодированию, так как статистическая структура английского текста является довольно запутанной, и осмысленные английские последовательности не слишком далеки (в смысле, требуемом для теоремы) от случайного выбора.
Как и в случае отсутствия шума, для приближения к идеальному кодированию требуется, вообще говоря, некоторая временная задержка. Теперь она приобретает новую функцию, позволяя воздействовать на сигнал большой выборкой шума до того, как будет сделано какое-либо суждение в точке приема относительно исходного сообщения. Увеличение объема выборки всегда уточняет возможные статистические утверждения.
Содержание теоремы 11 и ее доказательство могут быть сформулированы несколько иным способом, который яснее выявляет связь со случаем отсутствия шума. Рассмотрим возможные сигналы длительности Т и предположим, что из них выбирается для использования некоторое подмножество. Пусть все сигналы этого подмножества используются с одинаковой вероятностью, и предположим, что приемник сконструирован так, что он выбирает в качестве исходного сигнала тот элемент из нашего подмножества, для которого наиболее вероятно перейти в искаженный сигнал. Обозначим через
максимальное число сигналов, которые можно выбрать для нашего подмножества так, чтобы вероятность неправильной интерпретации была меньше или равна
Теорема 12. Если
не равно 0 или 1, то
где С — пропускная способность канала.
Другими словами, независимо от требований надежности можно за время Т уверенно различить достаточное количество сообщений, соответствующее примерно
битам, если Т достаточно велико. Теорему 12 можно сравнить с определением пропускной способности канала без шума, данным в первой части статьи.