2.9. ВЗАИМНАЯ ИНФОРМАЦИЯ

Энтропия ансамбля характеризует среднее количество полной информации, содержащейся в сообщении. Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например в принятом сигнале относительно переданного сообщения. Для этого рассмотрим объединение двух дискретных ансамблей, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передается, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть совместная вероятность реализаций а и Совместной энтропией ансамблей будем называть

Введем также понятие условной энтропии

где условная вероятность если имеет место здесь математические ожидания берутся по объединенному ансамблю В частности, для источников без памяти

Из теоремы умножения вероятностей следует, что

Для условной энтропии справедливо двойное неравенство

При этом равенство как видно из (2.131), имеет место в том случае, когда при каждом значении условная вероятность одной реализации а для всех остальных реализаций Это означает, что, зная реализацию В, можно точно установить реализацию А. Другими словами, В содержит полную информацию об А.

Другой крайний случай, когда имеет место, если при всех а и Последнее равенство означает, что события независимы. В этом случае знание реали-, Зации В не уменьшает неопределенности А, т. е. В не содержит никакой информации об А.

В общем случае условная энтропия меньше безусловной и знание реализации В снижает в среднем первоначальную неопределенность А. Естественно назвать разность количеством информации, содержащейся в В относительно А. Ее называют также взаимной информацией между и обозначают

Подставляя сюда (2.121) и (2.131), выразим взаимную информацию через распределения вероятностей:

Если воспользоваться теоремой умножения то можно записать в симметричной форме:

Сформулируем основные свойства взаимной информации:

причем равенство имеет место тогда и только тогда, когда независимы между собой. Это следует из определения (2.135) и неравенства (2.134).

т. е. В содержит столько же информации относительно А, сколько А содержит относительно В. Это свойство вытекает из симметрии выражения (2.137). Поэтому можно также записать

причем равенство имеет место, когда по реализации В можно однозначно восстановить А. Это следует из (2.135) и (2.134).

причем равенство имеет место, когда по реализации А можно точно установить реализацию В. Это вытекает из (2.139) и (2.141).

5. Полагая в и учитывая, что получим

Это позволяет интерпретировать энтропию источника как его собственную информацию, т. е. информацию, содержащуюся в ансамбле А о самом себе.

Пусть, например, А — ансамбль дискретных сообщений, ансамбль дискретных сигналов, в которые преобразуются сообщения А. Тогда в том и только в том случае, когда преобразование обратимо. При необратимом преобразовании и разность можно назвать потерей информации при преобразовании Ее называют также ненадежностью. Таким образом, информация не теряется только при обратимых преобразованиях.

Если среднее время передачи одного сообщения, то, разделив формулы на и обозначая

и т. д., получим соответствующие равенства для энтропий и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации от к В (или наоборот).

Если, например, ансамбль сигналов на входе дискретного канала, ансамбль сигналов на его выходе, то скорость передачи информации по каналу выразится следующим образом:

Эти соотношения наглядно иллюстрируются на рис. 2.16. Здесь производительность источника передаваемого сигнала «производительность» канала, т. е. полная собственная информация в принятом сигнале за единицу времени. Величина представляет собой скорость «утечки» информации при прохождении через канал, а скорость передачи посторонней информации, не имеющей отношения к и создаваемой присутствующими в канале помехами.

Рис. 2.16. Иллюстрация передачи информации по каналу с помехами

Соотношение между зависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае Если же сигнал воспроизводится хорошо, но в паузах ясно прослушиваются «наводки» от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и