4. Симметричная формулировка передачи информации

Обозначения применялись в предыдущих параграфах для облегчения предварительных объяснений читателям, незнакомым с предметом, но дальше будет удобнее пользоваться

краткими обозначениями Шэннона х, у, где х относится к тому, что передается, а у — к эффекту, получающемуся на приемном конце. Первоначальное распределение вероятностей для х, до сих пор обозначавшееся через может теперь быть записано как без индекса: есть относительное число появлений в ансамбле сообщений на передающем конце значений между Конечное распределение есть условная вероятность вероятность х при заданном у, поэтому мы можем записать передачу информации при посылке х и приеме у следующим образом:

Первое выражение представляет собой переписанное (17), а второе получается из первого по теореме умножения вероятностей. Можно видеть, что симметрично относительно х и у; действительно, оно может быть записано в явно симметричной форме

Чтобы не нарушать симметрию, можно называть это выражение передачей информации между х и у, вместо того, чтобы говорить о количестве информации, передаваемом, если посылается х и принимается у. Выражение (19) есть мера статистической зависимости х и у между собой; если они полностью независимы, то следовательно, нет никакой передачи информации.

В целях иллюстрации рассмотрим следующую очень простую (и крайне неудачную) систему связи:

Эта таблица есть перечисление равновозможных событий, подобное (2) в гл. I. Сообщение имеет состояния «да» и «нет» на приемнике появляются показания зеленое и красное. Между х и у имеется некоторый элемент беспорядочности, представляющий шум. Таким образом, когда передается «нет», показание красное появляется не всегда, а лишь в двух третях случаев (беспорядочно). Величина и все соответствующие вероятности приведены ниже:

Отсюда видно, что когда посылается «нет», а принимается зеленое, передача информации отрицательна. Это можно объяснить двояко, в соответствии с двумя формами соотношения (18). С точки зрения получателя «нет» имеет первоначальную вероятность После получения зеленого вероятность сообщения «нет» уменьшается до 74, несмотря на то, что было послано именно это сообщение — очевидный случай обманчивого результата. Подобным образом, с точки зрения отправителя первоначальная вероятность появления на другом конце показания зеленый того, как он решил, что посылать) равна . Когда лосылается «нет», вероятность зеленого уменьшается до но так как в действительности получилось зеленое, отправитель также оказывается обманутым.