2.4. Свойство аддитивности количества информации

Пусть элемент произведения ансамблей и пусть

— взаимная информация. Для конкретности можно считать, что сообщение на входе кодера, соответствующие символы, последовательно порождаемые этим кодером. Тогда взаимная информация [формула (2.21)] выражает информацию, содержащуюся в выходных символах относительно входного сообщения Теперь мы хотим выразить эту взаимную информацию через информацию, содержащуюся в первом из выходных символов относительно сообщения, и информацию, содержащуюся во втором выходном символе относительно того же сообщения.

Умножая числитель и знаменатель отношения в выражении (2.21) на получаем

Иначе говоря, информация, содержащаяся в паре относительно равна сумме информации, содержащейся в относительно и информации, содержащейся в относительно при условии, что значение известно. Этот результат полностью согласуется с нашими интуитивными представлениями.

Ясно, что порядок символов несуществен, так что

Складывая равенства (2.22) и (2.23), получим равенство

которое симметрично относительно

В силу симметричности взаимной информации мы можем рассматривать выражение (2.24), как информацию, содержащуюся в относительно Тогда, изменяя порядок символов в каждом члене выражения (2.22), получаем

т. е. информация, содержащаяся в относительно равна сумме информации, содержащейся в относительно и информации, содержащейся в относительно при условии, что значение у, известно.

Выражения (2.22) и (2.25) позволяют с помощью ряда последовательных шагов разложить взаимную информацию между элементами произвольных подансамблей произведения ансамблей сумму взаимных информаций между элементарными ансамблями, образующими это произведение. Так,

например, для произведения ансамблей с элементами

В том частном случае, когда произведение ансамблей статистически независимо от произведения ансамблей т. е. когда

равенство (2.26) принимает вид

В самом деле, в силу условия (2.27), второе и третье слагаемые правой части равенства (2.26) обращаются в нуль, а условия, имеющиеся в последнем слагаемом, становятся несущественными.

Выражение (2.28) допускает весьма простую интерпретацию, если рассматривать как независимые сигналы на входах двух изолированных каналов, а как соответствующие сигналы на их выходах. Тогда равенство (2.28) означает, что информация, содержащаяся о паре выходных сигналов относительно пары входных сигналов, равна сумме информаций, содержащейся в каждом выходном сигнале относительно соответствующего входного сигнала. Этот результат также соответствует нашим интуитивным представлениям.

Пример. Кодирование, рассмотренное на рис. 2.1, дает простую иллюстрацию правила сложения взаимных информаций. Обозначим через сообщение, поступающее в кодер, и через три последовательных символа соответствующего кодового слова. Тогда информация, содержащаяся в первом символе относительно сообщения, согласно данным в третьем и четвертом столбцах рис. 2.1, будет равна

Добавочная информация о сообщении, вносимая вторым символом, согласно данным четвертого и пятого столбцов рис. 2.1, будет равна

Наконец, добавочная информация, вносимая третьим символом, соответствии с данными пятого и шестого столбцов рис. 2.1, будет равна.

Полная информация о сообщении содержащаяся в соответствующем кодовом слове, равна сумме взаимных информаций, задаваемых равенствами (2.29), (2.30) и (2.31). Складывая их, получаем

Из этого результата видно, что общая информация о кодовом слове равна логарифму от величины, обратной вероятности появления Последнее вытекает из того факта, что кодовое слово однозначно определяет сообщение (подробнее об этом см. в разд. 2.6).