10. Рассмотрение полученных результатов и примеры
Для передачи максимальной мощности от генератора в нагрузку в общем случае применяется трансформатор, делающий сопротивление генератора, наблюдаемое со стороны нагрузки, равным сопротивлению этой нагрузки. Это аналогично рассмотренной выше ситуации: преобразователь, осуществляющий кодирование, согласовывает источник с каналом в статистическом смысле. Источник, рассматриваемый через преобразователь со стороны канала, должен иметь такую же статистическую структуру, какую имеет источник,
который максимизирует энтропию в канале. Содержание теоремы 9 сводится к тому, что, хотя точное согласование в общем случае невозможно, к нему можно приблизиться сколь угодно близко. Отношение действительной скорости передачи к пропускной способности С можно назвать эффективностью системы кодирования. Оно равно отношению действительной энтропии символов канала к максимально возможной энтропии.
Вообще говоря, идеальное или приблизительно идеальное кодирование требует длительных задержек в передатчике и приемнике. В случае отсутствия шума в канале, который мы сейчас рассмотрели, главное назначение этой задержки состоит в том, что она позволяет достаточно хорошо согласовать вероятности с соответствующими длительностями последовательностей. Для хорошего кода логарифм обратной величины вероятности длинного сообщения должен быть пропорционален длительности соответствующего сигнала; в действительности величина
должна быть мала для всех длинных сообщений, за исключением небольшой их доли.
Если источник может создавать только одно определенное сообщение, то его энтропия равна нулю и никакой канал не нужен. Например, счетная машина, спроектированная для вычисления десятичного разложения числа производит определенную последовательность без всяких элементов случайности. Для «передачи» этой последовательности в другой пункт не требуется никакого канала. В этом пункте можно построить другую машину, вычисляющую ту же самую последовательность. Однако это может быть непрактично. В таком случае можно пренебречь некоторыми или всеми статистическими характеристиками, которые известны об источнике. Можно принять, что цифры числа образуют случайную последовательность, и сконструировать систему, способную передавать любую последовательность цифр. Точно так же при конструировании кода можно использовать лишь некоторые из известных статистических характеристик английского языка, а не все.
В этом случае рассматривается источник с максимальной энтропией, подчиненный статистическим условиям, которые мы пожелаем сохранить. Энтропия этого источника определяет необходимую и достаточную пропускную способность канала. В примере с числом оставлены только те сведения, что все цифры выбираются из множества . В примере с английским языком можно было бы пожелать достичь экономии за счет статистики, используя лишь знания частот букв. Источник с
максимальной энтропией будет тогда первым приближением к английскому языку и его энтропия определит необходимую пропускную способность канала.