Глава 7. Канал и взаимная информация

7.1. Введение

Напомним задачу, который мы занимаемся. Рассматривается ссылка информации либо из одного места в другое (передача), яйбо от одного момента до другого (хранение). Процесс начинается с источника информации (символов), показанного на рис. 7.1.1 слева; его символы кодируются таким образом, как обсуждалось в гл. 2—5. Затем закодированные символы передаются по каналу. В реальных ситуациях в канале имеются шумы, т. е. сообщение на выходе канала не всегда совпадает с входным. Далее сообщение декодируется .и посылается к месту назначения.

Рис. 7.1.1. Модель передачи сигналов

Сейчас наступило время более подробно исследовать канал. В качестве основного инструмента будем использовать понятие энтропии, рассмотренное в гл. 6. Сколько информации в действительности передается по каналу? Как следует измерять взаимную информацию между входом и выходом системы? Как определить пропускную способность канала? Именно, эти вопросы обсуждаются в этой и следующей главах.

В дальнейшем вам нужно научиться исследовать систему со стороны приемного конца, где вырабатываются решения, вместо того чтобы начинать со стороны передающего конца и исследовать прохождение сигнала по системе.