Главная > Работы по теории информации и кибернетики (1963)
НАПИШУ ВСЁ ЧТО ЗАДАЛИ
СЕКРЕТНЫЙ БОТ В ТЕЛЕГЕ
<< Предыдущий параграф Следующий параграф >>
Пред.
След.
Макеты страниц

Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше

Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике

ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO

10. Рассмотрение полученных результатов и примеры

Для передачи максимальной мощности от генератора в нагрузку в общем случае применяется трансформатор, делающий сопротивление генератора, наблюдаемое со стороны нагрузки, равным сопротивлению этой нагрузки. Это аналогично рассмотренной выше ситуации: преобразователь, осуществляющий кодирование, согласовывает источник с каналом в статистическом смысле. Источник, рассматриваемый через преобразователь со стороны канала, должен иметь такую же статистическую структуру, какую имеет источник,

который максимизирует энтропию в канале. Содержание теоремы 9 сводится к тому, что, хотя точное согласование в общем случае невозможно, к нему можно приблизиться сколь угодно близко. Отношение действительной скорости передачи к пропускной способности С можно назвать эффективностью системы кодирования. Оно равно отношению действительной энтропии символов канала к максимально возможной энтропии.

Вообще говоря, идеальное или приблизительно идеальное кодирование требует длительных задержек в передатчике и приемнике. В случае отсутствия шума в канале, который мы сейчас рассмотрели, главное назначение этой задержки состоит в том, что она позволяет достаточно хорошо согласовать вероятности с соответствующими длительностями последовательностей. Для хорошего кода логарифм обратной величины вероятности длинного сообщения должен быть пропорционален длительности соответствующего сигнала; в действительности величина

должна быть мала для всех длинных сообщений, за исключением небольшой их доли.

Если источник может создавать только одно определенное сообщение, то его энтропия равна нулю и никакой канал не нужен. Например, счетная машина, спроектированная для вычисления десятичного разложения числа производит определенную последовательность без всяких элементов случайности. Для «передачи» этой последовательности в другой пункт не требуется никакого канала. В этом пункте можно построить другую машину, вычисляющую ту же самую последовательность. Однако это может быть непрактично. В таком случае можно пренебречь некоторыми или всеми статистическими характеристиками, которые известны об источнике. Можно принять, что цифры числа образуют случайную последовательность, и сконструировать систему, способную передавать любую последовательность цифр. Точно так же при конструировании кода можно использовать лишь некоторые из известных статистических характеристик английского языка, а не все.

В этом случае рассматривается источник с максимальной энтропией, подчиненный статистическим условиям, которые мы пожелаем сохранить. Энтропия этого источника определяет необходимую и достаточную пропускную способность канала. В примере с числом оставлены только те сведения, что все цифры выбираются из множества . В примере с английским языком можно было бы пожелать достичь экономии за счет статистики, используя лишь знания частот букв. Источник с

максимальной энтропией будет тогда первым приближением к английскому языку и его энтропия определит необходимую пропускную способность канала.

1
Оглавление
email@scask.ru