Главная > Работы по теории информации и кибернетики (1963)
<< Предыдущий параграф Следующий параграф >>
Пред.
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

10. Рассмотрение полученных результатов и примеры

Для передачи максимальной мощности от генератора в нагрузку в общем случае применяется трансформатор, делающий сопротивление генератора, наблюдаемое со стороны нагрузки, равным сопротивлению этой нагрузки. Это аналогично рассмотренной выше ситуации: преобразователь, осуществляющий кодирование, согласовывает источник с каналом в статистическом смысле. Источник, рассматриваемый через преобразователь со стороны канала, должен иметь такую же статистическую структуру, какую имеет источник,

который максимизирует энтропию в канале. Содержание теоремы 9 сводится к тому, что, хотя точное согласование в общем случае невозможно, к нему можно приблизиться сколь угодно близко. Отношение действительной скорости передачи к пропускной способности С можно назвать эффективностью системы кодирования. Оно равно отношению действительной энтропии символов канала к максимально возможной энтропии.

Вообще говоря, идеальное или приблизительно идеальное кодирование требует длительных задержек в передатчике и приемнике. В случае отсутствия шума в канале, который мы сейчас рассмотрели, главное назначение этой задержки состоит в том, что она позволяет достаточно хорошо согласовать вероятности с соответствующими длительностями последовательностей. Для хорошего кода логарифм обратной величины вероятности длинного сообщения должен быть пропорционален длительности соответствующего сигнала; в действительности величина

должна быть мала для всех длинных сообщений, за исключением небольшой их доли.

Если источник может создавать только одно определенное сообщение, то его энтропия равна нулю и никакой канал не нужен. Например, счетная машина, спроектированная для вычисления десятичного разложения числа производит определенную последовательность без всяких элементов случайности. Для «передачи» этой последовательности в другой пункт не требуется никакого канала. В этом пункте можно построить другую машину, вычисляющую ту же самую последовательность. Однако это может быть непрактично. В таком случае можно пренебречь некоторыми или всеми статистическими характеристиками, которые известны об источнике. Можно принять, что цифры числа образуют случайную последовательность, и сконструировать систему, способную передавать любую последовательность цифр. Точно так же при конструировании кода можно использовать лишь некоторые из известных статистических характеристик английского языка, а не все.

В этом случае рассматривается источник с максимальной энтропией, подчиненный статистическим условиям, которые мы пожелаем сохранить. Энтропия этого источника определяет необходимую и достаточную пропускную способность канала. В примере с числом оставлены только те сведения, что все цифры выбираются из множества . В примере с английским языком можно было бы пожелать достичь экономии за счет статистики, используя лишь знания частот букв. Источник с

максимальной энтропией будет тогда первым приближением к английскому языку и его энтропия определит необходимую пропускную способность канала.

Categories

1
Оглавление
email@scask.ru