2. Определение канала и его пропускной способности

Если мы желаем передавать информацию или запасать ее в запоминающем устройстве, то мы, прежде всего, выбираем некоторую физическую среду, кабель, линию радиосвязи, ртутную линию, магнитную ленту и т. п. и должны изучить физические возможности этой среды. Так, если мы применяем кабель с полосой пропускания , то кратчайший сигнал, который может быть передан, имеет длительность , причем (см. главу 8)

Затем возникает техническая проблема построения системы символов, согласованных с физической средой и удовлетворяющих нас с точки зрения применения их для связи: точки, тире и паузы, сигналы различной интенсивности или полярности и т. д. Если этот выбор сделан, то тем самым определен канал.

Для обсуждения вопроса со статистической точки зрения достаточно рассмотреть применяемую совокупность n дискретных символов и длины (или длительности) этих символов. В дальнейшем мы можем не думать о физическом строении системы передачи и о технических или практических основаниях для выбора различных символов и их длительностей . Для всех последующих теоретических и практических рассуждений канал определен просто совокупностью символов , имеющих длительности Мы можем игнорировать физическую природу символов; только их длительность играет роль в обсуждении. Мы не вводим никаких ограничений длительности; возможно, что некоторое количество символов имеет одинаковую длительность. Предполагается, что символы полностью

независимы друг от друга и определены так, что между ними отсутствует какая-либо корреляция. Предполагается, что произвольная последовательность символов способна представлять некоторое сообщение. Полная длительность сообщения Т есть попросту сумма длительностей отдельных символов, составляющих сообщение.

Рассмотрим все возможные сообщения, имеющие полную длительность Т. Эти сообщения будут соответствовать всем возможным комбинациям символов , имеющим общую длительность Т. Обозначим через число таких отдельных сообщений, различающихся между собой выбором символов и порядком размещения. Применение различных символов не связано никакими условиями, ограничениями или корреляцией. Все N сообщений длительности Т рассматриваются как равновероятные априори. Тогда, если мы выберем одно из этих сообщений, то получим информацию

в соответствии с (1.1), где выбор единиц определяется выбором постоянной К.

Скорость, с которой информация передается по каналу, есть Эта скорость меняется с изменением общей длительности Т, но можно показать, что во всех практических случаях она стремится к пределу при неограниченном возрастании Т. Шеннон выбирает этот предел в качестве определения пропускной способности канала:

Если мы применяем единицы энтропии, то — постоянной Больцмана. В большинстве теоретико-информацион-ных задач мы будем измерять информацию в двоичных единицах, к которым переходим, положив

или

и пропускная способность будет выражена в двоичных единицах в секунду, если Т измерено в секундах.

В последующих разделах этой главы мы будем обсуждать пригодность этого определения и условие существования предела С. Затем мы покажем, что пропускная способность канала соответствует наибольшему среднему потоку информации в канале, когда все возможные комбинации символов разрешены.

Наконец, мы исследуем вопрос о том, как кодировать сообщения для того, чтобы полностью использовать пропускную способность канала. Это приведет к практической постановке задачи кодирования: дана совокупность сообщений, написанных на некотором языке с известным алфавитом; задача состоит в том, чтобы согласовать язык с каналом и приблизиться, по возможности, к скорости передачи информации, соответствующей пропускной способности С канала. Мы докажем, что эта задача разрешима, и обсудим некоторые общие условия, которые должны быть выполнены при кодировании для достижения теоретического предела.