6.2. Информация связи дискретных случайных величин

Переходя к случаю произвольных помех, рассмотрим величину

называемую взаимной (парной) информацией связи случайных величин х и у. Ее можно интерпретировать в некотором смысле как количество информации об х, содержащееся в у.

Количество информации (6.2.1) было введено Шенноном [1], который показал также значение этой величины в теории информации. Будем называть его шенноновским количеством информации.

Имеется немало косвенных причин для того, чтобы трактовать величину (6.2.1) как меру количества информации (например неотрицательность, аддитивность и пр.), однако главной причиной в конечном счете является тот факт, что количество (6.2.1) асимптотически сводится к хартлиевскому количеству информации Об этом говорит рассматриваемая в дальнейшем теорема Шеннона (см. гл. 7). Без этого использование (6.2.1) в качестве меры информации носило бы более умозрительный, нежели практический характер.

Поскольку количество априорной неопределенности, а среднее количество апостериорной неопределенности при наблюдении величины у, то количество информации (6.2.1), которое можно записать

указывает среднюю величину неопределенности, исчезнувшей при приеме информации. Подобная трактовка количества информации давалась раньше в § 1.1 (1.1.2).

Используя обычное соотношение (см. (1.3.4)), мы можем записать формулу (6.2.1) в виде

откуда видна симметрия этой величины — она остается неизменной, если х и у меняются ролями.

Следовательно, такое же количество неопределенности в среднем исчезнет, если наблюдаемой переменной является х, а неизвестной переменной — у:

На рис. 6.1. наглядно изображены соотношения, имеющиеся между величинами Поскольку условная энтропия не превосходит безусловную (теорема 1.6), информация связи является неотрицательной.

Рис. 6.1.

Соотношения между информационными характеристиками двух случайных величин.

Раскрывая в (6.2.2) энтропии по обычной формуле типа (1.2.3), записываем количество информации связи двух случайных величин в виде

Очевидно, что возможны также и такие эквивалентные формы записи:

Подобно тому, как в § 1.2 помимо средней энтропии мы рассматривали случайную энтропию можно ввести случайную информацию связи

Тогда, как легко видеть, (6.2.4) примет вид

Из (6.2.5) вытекает следующая формула для совместного распределения:

Следовательно, парная информация доопределяет однократные распределения вероятностей

до двукратного распределения.

Поскольку из двукратного распределения суммированием можно получить однократные

то вследствие (6.2.7), (6.2.8) случайная информация обязана удовлетворять уравнениям

Средняя информация связи (6.2.4), как отмечалось, является заведомо неотрицательной величиной. Этого нельзя сказать о случайной информации (6.2.5). Возможны и отрицательные ее значения, хотя положительные превалируют, так что усреднение приводит к неотрицательной величине. Докажем, что уже условное усреднение только по х или по у дает неотрицательную величину.

Доказательство. Формулу (6.2.5) запишем в виде

Используя неравенство

будем иметь

Если это неравенство условно усреднить по х, т. е. взять условное математическое ожидание то поскольку

из (6.2.10) получим

Заменив в этом рассуждении х на у, а у на х, получим второе требуемое неравенство

Любопытно отметить, что будет иметь место обратное неравенство

если усреднение проводить не с весом а с весом (или

В самом деле, записав правую часть (6.2.9) или (6.2.5) в виде и использовав неравенство

получим вместо (6.2.10)

Усредняя это неравенство с весом будем иметь

поскольку

Таким образом, отрицательных значений случайной информации не так уже мало. Это одна из причин для того, чтобы называть количеством информации не а соответствующее среднее значение