7.6. Взаимная информация
Рассмотрим снова систему передачи сигналов, показанную на рис. 7.2.1. Входными символами являются выходными — 
и канал задается условными вероятностями 
До приема выходного символа вероятность входного 
равна 
Эта вероятность называется априорной вероятностью символа а. После приема 
вероятность того, что был послан входной символ 
становится равной 
условной вероятности 
при заданном 
Эта вероятность называется апостериорной вероятностью символа 
Изменение вероятности измеряет, сколько получатель узнал, приняв 
Идеальный канал, в котором отсутствует шум, характеризуется тем, что апостериорная вероятность равна 1, поскольку, приняв 
можно точно узнать, что было послано. На практике ошибками пренебречь нельзя, поэтому приемник не может абсолютно точно узнать, что было послано. Разность между информационной неопределенностью до (априорные вероятности) и после приема 
(апостериорные вероятности) измеряет информационный выигрыш от приема 
Эта информация называется взаимной информацией и определяется естественным образом:
Если две вероятности 
равны, то информационный выигрыш отсутствует и взаимная информация равна нулю. Передачи информации не происходит. Взаимная информация может быть положительна только в том случае, если после приема 
мы узнаем что-либо новое о вероятностях а
Умножим числитель и знаменатель дроби под знаком логарифма в (7.6.1) на 
Поскольку
имеем
Взаимная информация 
обладает следующими свойствами.
1. Вследствие симметрии 
имеем
2. Имеем также
Это вытекает из определения 
и равенства 
.
Максимальное значение вероятности 
равно 1, так что максимальное значение логарифма этой вероятности равно 0, поэтому 
3. Если 
независимы, т. е. если 
или, эквивалентно, если 
то
Вследствие неизбежного шума поведение канала можно понять лишь в среднем. Поэтому начнем усреднять взаимную информацию, используя соответствующие распределения вероятностей на алфавитах. Имеем
Аналогично
Окончательно получаем
по симметрии. Первые две величины, определяемые равенствами (7.6.5) и (7.6.6), называются условными взаимными информациями. Величина 
измеряет прирост информации при приеме 
Величина 
дает прирост информации об алфавите В, если был послан символ 
Третья величина 
симметричная относительно 
дает прирост информации во всей системе и зависит не от конкретных входных и выходных символов, а лишь от их частот. Эта величина называется взаимной информацией системы и обладает следующими свойствами.
(в силу фундаментального неравенства из разд. 6.4).
в том и только том случае, если 
независимы.
(по симметрии).
Различные энтропии можно связать друг с другом при помощи следующих алгебраических преобразований:
Используя (7.5.9) и (7.5.10) из предыдущего раздела, т. е. равенства
получаем два следующих результата:
Поэтому
Неравенство (7.6.10) показывает, что совместная энтропия ксимальна в случае, когда оба алфавита независимы.
В качестве примеров соотношений между введенными величу. нами дадим следующие выражения для средней взаимной информации
Неопределенность равна
Совместная энтропия равна
