2.6. Количество собственной информации

Снова рассмотрим произведение ансамблей и пусть пара точка этого ансамбля. Так как

то взаимная информация между х и у

удовлетворяет двум неравенствам

При этом знак равенства имеет место тогда и только тогда, когда имеет место знак равенства в соотношениях (2.55).

О величине

говорят, что она является количеством собственной информации в Аналогично

— количество собственной информации в у Иначе говоря, информация в каком-либо событии измеряется логарифмом величины, обратной вероятности его появления.

Количеству собственной информации можно дать две различные интерпретации в зависимости от роли, которую играют рассматриваемые события или символы. Если является сообщением на входе кодера, то измеряет количество информации, необходимое для однозначного определения Это следует из того факта, что взаимная информация между и любым другим событием, например становится равной собственной информации в тогда и только тогда, когда условная вероятность равна 1, т. е. когда однозначно определяет Таким образом, собственная информация есть максимальное количество взаимной информации, которую можно иметь о

Другая интерпретация понятия собственной информации возникает, например, в случае когда рассматривается как первый символ кодового слова, соответствующего сообщению на входе В этом случае, как показывают соотношения (2.55) и (2.57), информация, содержащаяся в относительно равна собственной информации в символе тогда и только тогда, когда условная вероятность равна 1. Иными словами, рассматриваемый символ однозначно определяется сообщением что и следует ожидать при правильно сконструированном кодере. Заметим, что, поскольку информация, содержащаяся в относительно не может превзойти собственной информации в последнюю можно интерпретировать как максимальное количество информации, которую может доставить

СИМВОЛ

Пример. Эти две интерпретации количества собственной информации можно проиллюстрировать с помощью рис. 2.1. Если обозначить через третье сообщение, а через три последовательных символа в соответствующем кодовом слове, то количество взаимной информации о в соответствующем кодовом слове должно быть равно собственной информации в

Следовательно, в соответствии с выражением (2.32)

Собственную информацию в первом символе кодового слова можно легко вычислить по вероятностям, указанным на рис. 2.1. Имеем

т. е. ту же самую величину, которую дает выражение (2.29) для взаимной информации, содержащейся в относительно поскольку

Рассмотрим далее произведение ансамблей и пусть точка этого ансамбля. Условная взаимная информация

удовлетворяет двум неравенствам

аналогичным неравенствам (2.57). Таким образом, условные собственные информации

можно интерпретировать так же, как собственные информации, задаваемые соотношениями (2.58) и (2.59). Другими словами, условная собственная информация события или символа может быть интерпретирована либо как количество взаимной информации об этом событии, которое должно иметься при указанных условиях, чтобы однозначно определить это событие, либо как максимальное количество взаимной информации, которое способно доставить рассматриваемое событие при тех же заданных условиях.

Двоичную единицу информации (бит), можно теперь определить более непосредственно. Двоичная единица информации — это собственная информация в двоичном символе, когда оба возможных ее значения — равновероятны. Эта

интерпретация разъясняет возникновение применяемого в литературе наименования единицы информации «бит» как результат сокращения слов binary digit (двоичной цифры).

В принятом нами изложении сначала было определено количество взаимной информации, на основе которой затем было введено количество собственной информации. Однако мы могли бы с тем же успехом действовать в обратном порядке: сначала определить количество собственной информации, а затем получить из нее количество взаимной информации. Действительно, с помощью соотношений (2.58), (2.59), (2.64) и (2.65) соотношение (2.56) может быть переписано в следующем виде:

Оно может быть интерпретировано следующим образом. Информация, содержащаяся в относительно равна разности между количествами информации, требуемой для идентификации до и после того, как становится известным Аналогично она равна разности между количествами информации, требуемой для идентификации до и после того, как становится известным

Взаимную информацию между и можно также представить в следующем симметричном виде:

где

— собственная информация в точке произведения ансамблей . И наоборот,

Последнее равенство показывает, что информация о паре - равна сумме количества информации, требуемой для определения независимо друг от друга, минус количество информации об содержащейся в (или наоборот).