1.7. Передача информации по каналу без помех

Если через канал связи без помех передается последовательность дискретных сообщений длительностью то предел отношения [46]

где количество информации, содержащейся в последовательности сообщений (скорость передачи информации по каналу связи). Предельное значение скорости передачи информации называется пропускной способностью канала связи:

Как известно, количество информации в сообщениях максимально при равной вероятности состояний. Тогда

Скорость передачи информации в общем случае зависит от статистических свойств сообщения и параметров

канала связи. Пропускная способность — это характеристика канала связи, которая не зависит от скорости передачи информации. Количественно пропускная способность канала связи выражается максимальным количеством двоичных единиц информации, которое данный канал связи может передать за одну секунду.

Для наиболее эффективного использования канала связи необходимо, чтобы скорость передачи информации была как можно ближе к пропускной способности канала связи.

Если скорость поступления информации на вход канала связи превышает пропускную способность канала, то по каналу будет передана не вся информация, т. е. должно выполняться условие

Это основное условие согласования источника информации и канала связи. Согласование осуществляется путем соответствующего кодирования сообщений. Доказано, что, если скорость информации, вырабатываемой источником сообщений, достаточно близка к пропускной способности канала [137, 138], т. е. где сколь угодно малая величина, всегда можно найти такой способ кодирования, который обеспечит передачу сообщений, вырабатываемых источником, причем скорость передачи информации будет весьма близка к пропускной способности канала.

Обратное утверждение заключается в том, что невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, превышает пропускную способность канала.

Если ко входу канала подключен источник сообщений с энтропией на символ, равной пропускной способности канала связи, считается, что источник согласован с каналом. Если энтропия источника меньше пропускной способности канала, что может быть в случае неравновероятности состояний источника, то источник не согла

сован с каналом связи, т. е. канал используется не полностью.

Согласование в статистическом смысле достигается с помощью так называемого статистического кодирования. Для уяснения принципа статистического кодирования рассмотрим две последовательности сообщений, представляющие, например, записанные через равные промежутки времени сигналью состоянии двухпозиционного контролируемого объекта (включен или выключен):

Символу 1 соответствует сигнал «объект включен», символу 0 «объект выключен». Будем считать, что символы появляются независимо один от другого.

Для первой последовательности символы 1 и 0 равновероятны, для второй — вероятность первого символа второго символа

Энтропия первой последовательности Энтропия второй последовательности Следовательно, количество информации на символ во второй последовательности в два раза меньше, чем в первой.

При передаче последовательностей через бинарный канал связи с первая последовательность будет согласована с каналом в то время как при передаче второй последовательности пропускная способность двоичного канала на символ в два раза больше энтропии источника, т. е. канал недогружен и в статистическом смысле не согласован с источником

Статистическое кодирование позволяет повысить энтропию передаваемых сообщений в пределе до величины, которая получается, если символы новой последовательности равновероятны. При этом число символов в последовательности будет сокращено. В результате

источник информации согласуется с каналом связи. Техника такого кодирования изложена в § 2.9.