Глава 2. ВЗАИМНАЯ ИНФОРМАЦИЯ И ЕЕ СВОЙСТВА

Эта глава носит вспомогательный характер. В ней определяется информация между сообщениями и ансамблями и изучаются ее свойства. Количество информации для дискретных ансамблей вводится с помощью понятия собственной информации, которое было определено в предыдущей главе. Количество информации для непрерывных ансамблей не может быть введено таким же образом, как для дискретных, поскольку для сообщений непрерывных ансамблей собственной информации не существует. Для того чтобы избежать трудностей, связанных с использованием понятий теории меры при описании количества информации в случае произвольных непрерывных ансамблей, мы ограничимся весьма частным с позиций современной теории вероятностей, но весьма типичным для практических приложений случаем, когда распределения вероятностей на непрерывных ансамблях задаются посредством функций плотностей вероятностей. Другой чертой изложения этой главы является двойственность, при которой по существу одни и те же. факты приходится давать в двух формулировках — отдельно для дискретного и непрерывного случаев. Эта черта — следствие традиционного для технических вузов изложения математического анализа, при котором в теории интеграла дается только интеграл Римана, а интегралы Стильтьеса и Лебега — Стильтьеса не определяются. В тех случаях, когда необходимо одновременно рассматривать дискретные и непрерывные ансамбли, используется техника обобщенных функций с помощью которой вводится понятие функции плотности вероятностей для дискретных случайных величин.

§ 2.1. Количество информации между дискретными ансамблями

Пусть — два дискретных множества. Рассмотрим ансамбль который образован всевозможными парами Как указывалось выше, при задании ансамбля определены также ансамбли где

Кроме того, для каждого из сообщений для которых определены условные распределения вероятностей а следовательно, и условные ансамбли

В соответствии с определением 1.3.1 для каждого сообщения вводится собственная информация

и условная собственная информация

Величины (2.1.2) и (2.1.3) могут принимать конечные и бесконечные значения, но для некоторых пар сообщений условная собственная информация может быть не определена. В последнем случае эта информация при необходимости доопределяется произвольным образом. Нетрудно показать, что способ доопределения 1 не влияет на величины средних количеств информации, т. е. на энтропии

Определение 2.1.1. Количеством информации в сообщении о сообщении называется величина

Замечание. Количество информации может принимать различные по знаку и величине конечные и бесконечные значения, но может быть не определено для некоторых пар сообщений. Неопределенность появляется, либо когда под знаком логарифма в (2.1.4) оказывается выражение вида либо когда условная вероятность не определена. Нетрудно видеть, что неопределенности не возникает, если для пары выполнены условия Неопределенность можно устранить, либо произвольным образом доопределив количество информации, либо исключив из рассмотрения сообщения вероятности которых равны нулю.

Так как для любых таких, что имеют места равенства

то

количество информации в сообщении х о сообщении у равно количеству информации в сообщении у о сообщении х. Это замечание показывает, что количество информации есть симметрическая функция пары сообщений. Поэтому величину называют количеством взаимной информации между сообщениями х и у

или просто взаимной информацией между этими сообщениями. Формуле (2.1.4) можно придать симметричную форму:

Рассмотрим теперь ансамбль образованный всевозможными тройками где дискретные множества. Как указывалось раньше, задание такого ансамбля одновременно задает различные условные и безусловные ансамбли. Ниже мы выпишем некоторые распределения вероятностей, определяемые данным ансамблем, которые понадобятся ниже. Пусть

— безусловные распределения вероятностей на парах соответственно и

— безусловные распределения вероятностей на сообщениях соответственно. Пусть, далее,

— условные распределения вероятностей на при заданном фиксированном сообщении и на при заданном фиксированном сообщении соответственно. Пусть, кроме того,

— условные распределения вероятностей на сообщениях при фиксированных соответственно.

С помощью определения 2.1.1 может быть введена условная информация между сообщениями при данном сообщении

С помощью того же определения может быть введена информация между парой сообщений и сообщением

Мы хотим представить информацию между парой и сообщением в виде суммы, в которой фигурировали бы информации между а также между у к Это можно сделать, если воспользоваться свойством аддитивности собственной информации (см. § 1.3):

Отсюда, а также из (2.1.12) и (2.1.13) следует, что

Эти последние соотношения называются двойством аддитивности взаимной информации.

Не останавливаясь подробно, заметим, что аналогичным образом могут быть определены и другие количества информации, скажем д.

Замечание. Количества информации и др., введенные выше для сообщений ансамбля могут быть не определены для некоторых троек Неопределенность возникает либо при появлении выражений вида либо при несуществовании условных вероятностей. В каждом отдельном случае легко выписать условия, при выполнении которых неопределенности не возникает. Так, например, информация определена для всех сообщений , для которых этом примере нельзя устранить неопределенность, исключая часть сообщений из множеств (ср. с замечанием, сделанным вслед за определением 2.1.1). Поэтому в дальнейшем мы будем предполагать, что в случае необходимости неопределенность устраняется произвольным доопределением рассматриваемого количества информации.

В точности так же, как в случае собственной информации, взаимную информацию можно рассматривать как случайную величину на ансамбле и вводить для нее различные числовые характеристики, и, в частности, математическое ожидание.

Пусть задан дискретный ансамбль Будем рассматривать количество взаимной информации как функцию, отображающую элементы ансамбля XV в числовую ось. Таким образом, количество взаимной информации является случайной величиной на ансамбле

Определение 2.1.2. Математическое ожидание случайной величины на ансамбле называется средним количеством взаимной информации или просто средней взаимной информацией между ансамблями определены соотношениями и обозначается через

Легко видеть, что величина математического ожидания не зависит от способа доопределения функции поскольку вероятность всех пар сообщений, для которых количество информации доопределено, равна нулю.

Предположим теперь, что зафиксировано некоторое сообщение , причем (или ). Тогда количество информации можно рассматривать как случайную величину на ансамбле (или на ансамбле

Определение 2.1.3. Математическое ожидание случайной величины на ансамбле называется средней взаимной информацией между ансамблем X и сообщением и обозначается через

Аналогичным образом определяется средняя взаимная информация между ансамблем У и сообщением

Средняя взаимная информация или зависит от выбора сообщения или и не определена для тех

сообщений, вероятности которых равны нулю. Если для таких сообщений или произвольным образом доопределить, то среднюю взаимную информацию можно рассматривать как случайную величину на ансамбле а среднюю взаимную информацию как случайную величину на ансамбле Нетрудно увидеть, что независимо от способа доопределения

Таким образом, среднкю взаимную информацию между ансамблями можно определить двояким способом, либо как в определении 2.1.2, либо как повторное математическое ожидание или

Поскольку взаимная информация между сообщениями была определена как разность собственных информаций (безусловной и условной), а математическое ожидание собственной информации является по определению энтропией ансамбля, то можно записать

Изучение средней взаимной информации между дискретными ансамблями мы начнем с установления простейших ее свойств.

Теорема 2.1.1. Средняя взаимная информация между сообщением, вероятность которого отлична от нуля, и ансамблем, а также средняя взаимная информация между двумя ансамблями неотр ицательна.

Доказательство. Покажем только, что если Второе утверждение теоремы будет тогда следовать из . Рассмотрим величину Так как то существует условное распределение вероятностей и

Последнее соотношение получается в результате применения неравенства для логарифма (1.3.7). Если при всех то Очевидно, что средняя взаимная информация равна нулю в том и только том случае, когда Для всех т. е. когда ансамбли статистически независимы.

Снова будем рассматривать ансамбль троек Для этого ансамбля определена условная взаимная информация

которая при фиксированном представляет собой функцию, отображающую условный ансамбль на числовую ось, и поэтому является случайной величиной на этом ансамбле.

Определение 2.1.4. Математическое ожидание случайной величины на условном ансамбле называется средней взаимной информацией между ансамблями относительно сообщения из ансамбля и обозначается через

Как и раньше, средняя взаимная информация может рассматриваться как случайная величина на ансамбле

Определение 2.1.5. Математическое ожидание случайной величины на ансамбле называется средней взаимной информацией между ансамблями относительно ансамбля и обозначается через

Для ансамбля определено также количество взаимной информации между парой сообщений и сообщением Пару можно рассматривать как элемент ансамбля XV, тогда математическое ожидание случайной величины на ансамбле представляет собой среднюю взаимную информацию между парой ансамблей и ансамблем

Из свойства аддитивности (см. 2.1.15)) тогда следует, что

а из (2.1.20) — что

Одно из важнейших свойств средней взаимной информации состоит в том, что она не увеличивается при преобразованиях. Для того чтобы точно сформулировать и доказать это свойство, введем в рассмотрение некоторое преобразование отображающее элементы множества X на элементы другого множества, скажем Будем предполагать, что каждый элемент множества является образом некоторого (возможно, не одного) элемента из Будем это записывать так: Предположим также, что задан ансамбль и тем самым определена величина

средней взаимной информации Преобразование определяет ансамбль для которого

Поэтому средняя взаимная информация определена для каждого отображения и принимает значения, определяемые выбором

Теорема 2.1.2. Для любого отображения ансамбля X в ансамбль

причем равенство имеет место всегда, когда отображение обратимо, т. е. каждому элементу соответствует единственный элемент

Доказательство. Рассмотрим множество Так как при выбранном сообщении сообщение однозначно определено и, следовательно, не зависит от сообщения то распределение вероятностей на тройках соответствующее описанному выше отображению, удовлетворяет условию

или для всех Действительно, при данном х с вероятностью т. е.

если Из условия (2.1.29) следует, что

для всех для которых и, следовательно, Отсюда и из (2.1.25) следует, что

С другой стороны, в силу неотрицательности средней взаимной информации

что и доказывает (2.1.28).

Равенство в (2.1.28) имеет место в том случае, когда Очевидно, что последнее равенство выполняется, если для всех

Условие (2.1.33) означает, что при выбранном сообщении сообщение статистически не зависит от Это условие всегда выполняется, если сообщение однозначно определяет сообщение если сообщения однозначно определяют друг друга и, следовательно, если отображение обратимо. Теорема доказана.

Заметим, что в теореме 2.1.2 доказано нечто большее, чем утверждается. А именно, доказано, что неравенство (2.1.28) имеет место не только при детерминированных отображениях но также и при произвольных случайных отображениях, определяемых распределением вероятностей для которых выполнено условие (2.1.29).

Свойство невозрастания информации при преобразованиях имеет следующее физическое толкование.

Предположим, что имеются наблюдаемые события, образующие множество По этим наблюдениям мы хотим получить информацию о некотором объекте, возможные состояния которого образуют множество Например, X — множество возможных сигналов на выходе некоторого канала связи, множество различных передаваемых сообщений. Теорема утверждает, что никакая обработка наблюдений, при которой происходит детерминированное или случайное их преобразование, не может увеличить средней информации об интересующем нас объекте. Информация сохраняется, если преобразование обратимо.

Очевидно, что теорема остается верной в том случае, когда преобразование осуществляется над ансамблем а также в том случае, когда осуществляются преобразования как ансамбля X, так и ансамбля Пусть два отображения, заданные на множествах соответственно. Тогда

Если оба отображения обратимы, то имеет место знак равенства.