2.13. Краткое содержание и выводы

Эта глава посвящена определению различных трактовок количества информации и изучению некоторых их свойств. Все эти трактовки количества информации были получены либо как частные случаи, либо как обобщения основного количества взаимной информации между двумя событиями. Эта основная величина первоначально определялась в терминах изменения вероятности одного события, вызванного наблюдением над другим событием. Точнее, она была определена как логарифм отношения апостериорной и априорной вероятностей первого события. Затем было показано, что такая величина симметрична относительно обоих событий, так что ее можно рассматривать как величину взаимной информации между двумя событиями.

Далее была определена собственная информация в событии как взаимная информация между рассматриваемым событием и другим событием, однозначно определяющим первое. Таким образом, собственную информацию о событии можно интерпретировать либо как количество информации, необходимое для однозначного определения этого события, либо как наибольшее количество информации, которое это событие может содержать о каком-либо другом событии.

Количество взаимной информации, определенное первоначально для точек дискретного пространства, было затем обобщено на непрерывные пространства; для этого взаимная информация между двумя точками была определена как предел, к которому стремится взаимная информация между двумя конечными областями, стягивающимися к двум рассматриваемым точкам. При таком определении выражение взаимной информации между точками непрерывных пространств оказывается идентичным соответствующему выражению для дискретных пространств, с той только разницей, что вместо вероятностей должны быть подставлены соответствующие плотности распределения вероятностей. С другой стороны, такая подстановка в выражение для собственной информации точки дискретного пространства не приводит к получению разумной меры собственной информации точки непрерывного пространства. В частности, было показано, что, в то время как количество взаимной информации между точками непрерывных пространств инвариантно при взаимно однозначном преобразовании пространств, сохраняющем вероятностную меру, это неверно для величины, полученной подстановкой плотности распределения вероятностей (вместо соответствующей дискретной вероятности) в выражение для количества собственной информации.

Изучение свойств средних значений собственной информации приводит нас к выводу, что среднее число двоичных символов, требуемое для представления сообщений из заданного ансамбля, должно быть равно по меньшей мере среднему значению собственной информации этих сообщений, т. е. энтропии ансамбля. В следующей главе мы увидим, что всегда можно так закодировать сообщение, чтобы среднее число двоичных символов на сообщение отличалось от энтропии ансамбля сообщений не более чем на один символ. Мы увидим также, что это среднее число двоичных символов можно сделать равным энтропии ансамбля сообщений, если собственная информация каждого сообщения равна целому числу двоичных единиц. В этом частном случае число двоичных символов, требуемое для определения любого сообщения, оказывается равным собственной информации сообщения.

Этот важный результат является первым примером, показывающим роль количества информации в изучении систем связи. Ниже мы увидим, что количество взаимной информации приводит к определению пропускной способности канала и доказательству того, что через канал можно передавать двоичные символы с любой скоростью, меньшей пропускной способности канала при исчезающе малой вероятности ошибки. Результаты такого типа обеспечивают точную операционную интерпретацию

количества информации, определенного в этой главе. И наоборот, эти количества, в силу их легко понимаемого «физического смысла», весьма полезны для прослеживания основной нити рассуждений в математических выводах таких результатов.

Материал этой главы можно было бы изложить более строго и в более общем виде, используя теорию меры [5, 6]. Однако преимущество такого подхода не оправдывает, по крайней мере для наших целей, затрат времени на развитие необходимого математического аппарата.

Количество собственной информации и взаимной информации находят также полезное применение в статистике. Эти применения подробно рассмотрены в работе [6].

2.14. Избранная литература

(см. скан)