2.2. ОПРЕДЕЛЕНИЕ ВЗАИМНОЙ ИНФОРМАЦИИ

Пусть будет выборочным пространством X, а будет выборочным пространством У в совместном ансамбле с распределением вероятностей Например, х можно интерпретировать как вход дискретного канала с шумом, а у как его выход. Мы хотим количественно измерить, как много говорит нам о возможности появления некоторого возможного исхода, скажем из ансамбля X, появление некоторого возможного исхода, скажем из ансамбля У. На вероятностном языке, появление изменяет вероятность от априорной вероятности до апостериорной вероятности Количественной мерой этого изменения (которая оказывается полезной) является логарифм отношения апостериорной вероятности к априорной. Это приводит нас к следующему фундаментальному определению: информация о событии содержащаяся в событии равна

Основание логарифма в этом определении определяет шкалу, по которой измеряется информация. Наиболее часто употребляются основания При основании логарифмов 2 значение выражения (2.2.1) называется числом бит (двоичных единиц) информации, а при натуральных логарифмах значение выражения (2.2.1) называется числом (натуральных единиц) информации. Таким образом, число нат равно числу бит, умноженному на . Так как большинство положений теории и результатов остаются справедливыми при любом основании логарифмов, то основание будет указываться только в случае необходимости.

Если в равенстве (2.2.1) поменять местами х и у, то получаей, что информация о событии содержащаяся в событии равна

Покажем теперь, используя определение условных вероятностей, что правые части равенств (2.2.1) и (2.2.2) совпадают. Из-за этой

симметрии называется взаимной информацией между событиями

Если не будет возникать недоразумений, мы будем пользоваться сокращенным обозначением для информации о событии х, содержащейся в некотором событии у:

Полное оправдание определения информации равенством станет ясным только в ходе развития теории. Однако следующий пример может дать некоторое интуитивное понимание этого определения.

Пример 2.1. Канал, изображенный на рис. 2.2.1, называется двоичным симметричным каналом. С вероятностью выходная буква совпадает с входной, и с вероятностью она отлична от входной буквы.

В предположении, что входы являются равновероятными совместные вероятности задаются равенствами

Замечая из этих равенств, что выходные буквы равновероятны, получаем

Взаимная информация тогда равна

При канал на рис. 2.2.1 является бесшумным; его выход полностью определяет вход. При канал полностью зашумлен; его вход и выход являются статистически независимыми. Предположим теперь, что достаточно мало, много меньше чем и предположим, что На выходе канала приембуквы делает вероятность того, что была послана много большей соответствующей вероятности для и из соотношений (2.2.6) видно, что информация, содержащаяся в относительно является в этом случае положительной. Для эта информация равна 1 бит в соответствии с тем, что однозначно определяет на приемнике, какая из двоичных букв была послана. Когда увеличивается, эта взаимная информация уменьшается, соответствуя увеличению на приемнике недостатка определенности в том, что был передан

Рассмотрим далее случай, в котором передается и принимается Информгция, определяемая равенствами (2.2.6), в этом случае отрицательна что соответствует тому, что прием приводит к заблуждению, давая приемнику некоторую степень уверенности в том, что был послан а не В одном из последующих примеров будет видно, как некоторая последующая положительная информация может исправить неправильное впечатление на приемном конце, вызванное первоначальной отрицательной информацией. Интересно заметить, что при стремящемся к 0, эта отрицательная информация стремится к соответствуя тому, что приемник не только будет находиться в заблуждении, но будет заблуждаться с абсолютной определенностью. К счастью, если то это событие не может произойти.

Как можно заметить из определения (2.2.1), взаимная информация является случайной величиной, т. е. числовой функцией элементов выборочного пространства. Взаимная информация является довольно необычной случайной величиной, так как ее значение зависит от вероятностной меры, однако с ней можно обращаться так же, как с любой другой случайной величиной. В частности, взаимная информация имеет среднее значение, дисперсию, моменты всех порядков и производящую функцию моментов. Среднее значение, которое называется средней взаимной информацией и обозначается задается равенством

В сокращенной записи это равенство имеет вид

Отсюда видно, что средняя взаимная информация является функцией только -ансамбля, в то время как взаимная информация, которая является случайной величиной, — функцией частных исходов х и у. В примере 2.1 взаимная информация принимает значение с вероятностью 1-е и значение с вероятностью Средняя взаимная информация при этом равна .

Интересным частным случаем взаимной информации является тот, в котором появление данного исхода у, скажем однозначно определяет, что исходом х будет данный элемент В этом случае

Так как это выражение представляет собой взаимную информацию, требуемую для определения то оно определяет собственную

информацию, содержащуюся в событии которая обозначается

В сокращенной записи это равенство имеет вид:

Собственная информация, содержащаяся в событии является, очевидно, функцией только ансамбля Собственная информация, содержащаяся в всегда неотрицательна и увеличивается с уменьшением Она может быть интерпретирована либо как априорная неопределенность события либо как информация, требуемая для разрешения этой неопределенности. Собственная информация сперва казалась более простым понятием, чем взаимная информация, так как она определяется с помощью отдельного, а не совместного ансамбля. Мы определили вначале взаимную информацию отчасти потому, что она естественно обобщается на случай недискретных выборочных пространств, в то время как собственная информация не обобщается, а частично потому, что интуитивное понимание собственной информации фактически невозможно, в терминах отдельного ансамбля. Многие попытки, предпринятые в литературе для эвристической интерпретации собственной информации с помощью индивидуального ансамбля, привели к большой путанице. В частности, исходя из отдельного ансамбля, трудно понять, почему информация и неопределенность не должны быть связаны обратной зависимостью, а должны быть двумя различными взглядами на одну и ту же вещь.

Пример 2.2. Рассмотрим ансамбль X, для которого выборочное пространство является множеством всех двоичных последовательностей заданной длины Предположим, что все последовательности равновероятны так, что имеются элементов в выборочном пространстве, каждый с вероятностью Собственная информация любого заданного исхода равна при этом

Как и должно быть, согласно интуитивному представлению, требуется бит собственной информации для определения последовательности двоичных цифр; этот пример делает ясной причину появления логарифма в мерах информации.

На совместном -ансамбле определим условную собственную информацию, содержащуюся в событии при условии появления следующим образом:

Или просто

Это является собственной информацией, содержащейся в событии ансамбля при условии, что Ее можно интерпретировать как информацию, которую нужно сообщить наблюдателю для определения после того как наблюдатель установил, что

произошло событие Объединяя определения (2.2.1), (2.2.10) и (2.2.12), получаем

т. е. информация об исходе х, содержащаяся в исходе у, равна собственной информации, требуемой для определения исходах, уменьшенной на неопределенность этого исхода х при заданном у.

Точно так же, как и взаимная информация, собственная информация тоже является случайной величиной. Энтропия ансамбля определяется как среднее значение собственной информации и задается равенством

Имеется некоторое дополнительное основание для использования здесь символа кроме того, что в теории информации это обозначение используется почти всегда. Энтропия ансамбля тесно связана с энтропией, используемой в статистической термодинамике, и фактически является таковой (с точностью до аддитивной постоянной) при интерпретации множества как множества элементов фазового пространства, имеющих бесконечно малые равные объемы. К счастью, энтропия в теории информации является понятием значительно более простым, чем в термодинамике.

Условная собственная информация также является случайной величиной на совместном ансамбле и имеет среднее значение, задаваемое равенством

Ее можно интерпретировать как среднюю информацию (по х которая требуется для того, чтобы определить х, если известно у.

Если равенство (2.2.13) усреднить по ансамблю то можно найти, что средняя взаимная информация между х и у равна разности между энтропией X и условной энтропией X при заданном

Это равенство показывает, что можно интерпретировать как среднюю неопределенность X, которая снимается после наблюдения исхода ансамбля представляет собой среднюю оставшуюся неопределенность X после наблюдения.

Можно получить еще некоторое соотношение между собственной и взаимной информацией, если рассмотреть совместный ансамбль как единый ансамбль, элементами которого являются пары х, у

совместного выборочного пространства. Собственная информация, содержащаяся в паре х, у, равна

Так как то получаем

Взаимная информация может быть также выражена через следующим образом:

Усредняя эти выражения по совместному ансамблю находим

Пусть теперь будут исходами совместного ансамбля Условная взаимная информация между при условии, что задано определяется в соответствии с (2.2.1) как

Для средней условной взаимной информации теперь получаем

Мы могли бы здесь получить неограниченное число соотношений между условной и безусловной взаимной и собственной информациями, используя совместные исходы вместо отдельных исходов в этих выражениях. Одно из соотношений, представляющее определенный интерес, состоит в том, что взаимная информация о некотором частном исходе содержащаяся в некоторой частной паре исходов равна информации о , содержащейся в сложенной с информацией о содержащейся в из при условии, что задан Чтобы показать это, рассмотрим

Второе соотношение, следующееиз цепной формулы для вероятности

имеет вид

Усредняя (2.2.27) и (2.2.28) по совместному ансамблю, получаем

Пример 2.3. Рассмотрим опять канал, изображенный на рис. 2.2.1, но будем использовать его три раза подряд, так что входом будет последовательность трех двоичных символов, а выходом — последовательность трех двоичных символов. Предположим также, что входная последовательность строится так, что один и тот же символ повторяется трижды: последовательность используется с вероятностью и последовательность с вероятностью 1/2. Будем считать, наконец, что канал действует независимо на каждый из символов, другими словами, что

Рис. 2 2.1. Двоичный симметричный канал.

Исследуем взаимную информацию, когда посылается последовательность а принимается последовательность Покажем, что первый выходной символ содержит отрицательную информацию о входе, однако последующие два выходных символа содержат достаточное количество положительной информации, чтобы перекрыть первоначальное заблуждение. Так же как в равенстве (2.2.6), имеем

Отсюда видно, что условная информация, содержащаяся во втором выходном символе в точности балансирует отрицательную информацию от первого выходного символа. Наглядное объяснение этого состоит в том, что после приема приемник имеет в точности такую же неопределенность относительно символов на входе, какую он имел вначале. Условная информация, содержащаяся в третьем принятом символе, равна

Общая информация о входе, содержащаяся в трех принятых символах, является теперь положительной в соответствии с тем, что апостериорная вероятность входа больше, чем априорная вероятность