4.2. Пропускная способность дискретного канала

4.2.1. Количество информации переданной по дискретному каналу

Основной задачей систем связи является передача информации от источника к получателю. Решение этой задачи сопряжено с определенными трудностями, связанными не только с представлением информации в виде сообщения, пригодного для восприятия и обработки, но и с преобразованием данного сообщения в сигнал, пригодный для передачи по линии связи. Представим графически процесс передачи информации по каналу связи (рис.4.2) и учтем при этом возможное влияние помех.

Пусть дискретный канал определяется:

       – алфавитом источника сообщений;

        – алфавитом получателя сообщений;

        – «потерями» информации;

        – ложной информацией, создаваемой помехами;

 – количеством информации, переданной по каналу.

Условная энтропия характеризует среднюю степень неопределенности принимаемых сигналов, обусловленную действием помех.

При сопряжении входа канала с любым источником двоичной информации на вход могут поступать двоичные символы  и  с вероятностями  и  соответственно (рис.4.3). На выходе канала появляются двоичные символы  и . Обозначим вероятность ошибки при передаче любого символа через . Тогда, , а . В общем случае, для -ичного дискретного канала [5]:

Тогда «шумовая» энтропия будет определяться выражением [5]:

Из полученного выражения следует, что энтропия определяемая только помехой не зависит от вероятности  появления символов на входе канала.

Если символы на входе канала выбираются независимо от предыдущих символов с одинаковыми вероятностями, то энтропия выходных символов достигает своего максимального значения, равного: .

Таким образом, количество информации, переданной по каналу, это разность между энтропией на выходе и энтропией шума:

Количество информации, переданной по каналу связи, обладает следующими основными свойствами:

, причем  тогда и только тогда, когда входные и выходные сообщения в канале взаимно независимы;

, причем  тогда и только тогда, когда входная последовательность определяется однозначно по выходной последовательности, например, когда в канале нет помех;

 следует из того, что количество информации не изменится, если входную и выходную последовательность поменять местами.