2.3. Измерение информации

Рассмотрим снова два дискретных пространства и обозначим через некоторую точку из X и через некоторую точку из . Пусть — распределение вероятностей на произведении пространств Мы хотим ввести способ измерения информации, содержащейся в относительно

Пусть трактуются соответственно, как некоторые события на входе и выходе одного из блоков рис. 1.1. Став на точку зрения внешнего наблюдателя, которому известны события как на входе, так и на выходе, мы можем определить, в какой степени определяет определить меру количества информации, переданной через этот блок. Два примера из разд. 2.2 показывают, что информация относительно содержащаяся в сводится к изменению вероятности от ее априорного значения к ее апостериорному значению Удобной мерой этого изменения вероятностей оказался логарифм отношения апостериорной вероятности к априорной. Таким образом, мы вводим следующее общее определение.

Количество информации, содержащееся в событии относительно появления события определяется как

Основание логарифмов, используемых в этом определении, фиксирует величину единицы измерения информации. Наиболее широко используемым является основание 2. В этом случае единица информации относительно получается, если вероятность увеличивается в два раза. Часто (так как математически это более удобно) вместо основания 2 используется основание натуральных логарифмов Соответствующая единица информации получается, если вероятность события увеличивается в раз. Очевидно, что увеличение вероятности в 10 раз дает единицу информации, получающуюся при использовании десятичных логарифмов.

Для обозначения этих единиц обычно используются наименования «бит», «нат» и «хартли». Наименование «бит» обрат зовано как сокращение слов binary digit (двоичная цифра), а «нат» как сокращение слов natural unit (натуральная единица). Десятичная единица названа в честь Л. Хартли — одного из основоположников теории связи.

Определенная только что величина обладает очень важным свойством симметрии по отношению к Эту симметрию можно легко обнаружить, умножая числитель и знаменатель выражения (2.16) на Мы получаем

Отсюда немедленно следует, что

Другимй словами, информация, содержащаяся в относительно равна информации, содержащейся в относительно Ввиду этого мы будем называть введенную величину взаимной информацией между

Правая часть соотношения (2.17) позволяет интерпретировать взаимную информацию как меру статистической связи между Действительно, она равна нулю, когда два рассматриваемых события статистически независимы; в этом случае

Она положительна, когда вероятность появления одного из этих событий, если известно, что уже произошло другое, больше безусловной вероятности появления этого события, и наоборот, отрицательна, когда вероятность появления одного из этих событий, если уже произошло другое, меньше безусловной вероятности этого события.

Рассмотрим теперь произведение ансамблей и пусть некоторая точка этого ансамбля появляется с вероятностью

Взаимная информация между при заданном в соответствии с выражениями (2.16) и (2.17), определяется как

Другими словами, условная взаимная информация определяется точно так же, как в выражении (2.16), за исключением того, что априорные и апостериорные вероятности должны быть взяты при одном и том же условии Это определение немедленно обобщается на случай, когда взаимная информация вычисляется при условии, что задано несколько событий.