2.3. СРЕДНЯЯ ВЗАИМНАЯ ИНФОРМАЦИЯ И ЭНТРОПИЯ

В этом параграфе будет получен ряд неравенств, для энтропии и средней взаимной информации.

Теорема 2.3.1. Пусть X — ансамбль с выборочным пространством, состоящим из К элементов. Тогда

с равенством тогда и только тогда, когда все элементы равновероятны.

Доказательство. Эта теорема и ряд последующих неравенств могут быть доказаны с помощью соотношений

Они проиллюстрированы на рис. 2.3.1 и могут быть проверены аналитически, если заметить, что разность имеет отрицательную вторую производную и стационарную точку при

Покажем теперь, что

Рассматривая сумму только по тем х, для которых можно применить (2.3.2) и каждому слагаемому; в результате получим

Последнее неравенство следует из того, что сумма по х имеет не более К слагаемых. Оба неравенства обращаются в равенства тогда и только тогда, когда при всех это эквивалентно тому, что элементы равновероятны.

Так как энтропия ансамбля максимальна, когда элементы равновероятны, можно предположить, что энтропия ансамбля увеличится, если вероятность некоторого элемента увеличится за счет другого, более вероятного элемента, этот результат составляет содержание задачи 2.15.

Следующая теорема показывает, что несмотря на то, что взаимная информация как случайная величина может принимать отрицательные значения, средняя взаимная информация всегда неотрицательна.

Теорема 2.3.2. Пусть дискретный совместный ансамбль. Для средней взаимной информации между справедливо

Знак равенства имеет место тогда и только тогда, когда статистически независимы.

Доказательство. Покажем, что

Сумма в (2.3.6) берется только по тем для которых Для этих слагаемых и (2.3.2) можно применить для каждого слагаемого

Рис. 2.3.1. Графики функций

Неравенство (2.3.7) переходит в равенство тогда и только тогда, когда при Так как суммирование в (2.3.8) происходит только по тем парам для которых , то (2.3.8) переходит в равенство только тогда, когда при Таким образом, оба неравенства удовлетворяются вместе с равенством и, следовательно, тогда и только тогда, когда статистически независимы.

Непосредственным следствием этой теоремы и равенства является неравенство

Знак равенства имеет место тогда и только тогда, когда статистически независимы. Таким образом, наложение любого условия на ансамбль может только привести к уменьшению энтропии ансамбля. Важно отметить, что (2.3.9) включает усреднение по обоим ансамблям Значение выражения

может быть как больше, так и меньше (см. задачу 2.16).

Применяя неравенство (2.3.9) к каждому слагаемому равенства (2.2.30) и подставляя вместо вместо будем иметь

Знак равенства будет тогда и только тогда, когда ансамбли статистически независимы.

Теорема 2.3.3. Пусть дискретный совместный ансамбль. Тогда

Это выражение равно нулю тогда и только тогда, когда при каждом заданном ансамбли статистически независимы, т. е., когда

для каждого элемента совместного выборочного пространства, для которого

Доказательство. Доказательство этой теоремы повторяет доказательство теоремы 2.3.2, если все вероятности заменить на условные при заданном z.

Из неравенства (2.3.11) и равенства (2.2.26) следует, что

Знак равенства будет тогда и только тогда, когда справедливо (2.3.12).

Случай, когда имеет несколько интересных интерпретаций. Можно представить себе, что в этом случае имеется пара каналов, соединенных последовательно, как показано на рис. 2.3.2. Ансамбль X представляет собой вход первого канала; ансамбль представляет собой как выход первого канала, так и вход второго канала и ансамбль является выходом второго канала. Предположим, что выход второго канала статистически зависит только от входа второго канала, т. е., что

Умножая обе стороны равенства на получаем равенство (2.3.12) так, что

Для такой пары последовательных каналов разумно ожидать, что средняя взаимная информация между будет не больше, чем информация, проходящая через каждый отдельный канал. Покажем, что это справедливо на самом деле. Из равенства (2.2.29) получаем следующие равенства:

Приравнивая правые части и используя (2.3.15), будем иметь

Из (2.3.11) следует, что и, таким образом, равенство (2.3.15) означает, что

Принимая во внимание симметрию равенства (2.3.12) относительно получаем также, что

Выражая информацию в неравенстве (2.3.19а) через энтропии, находим, что

Средняя неопределенность относительно входа канала при заданном выходе называется неопределенностью для канала и, таким образом, неравенства (2.3.20) дают согласующийся с интуицией результат, что эта неопределенность для канала никогда не может уменьшаться при движении от входа по последовательно соединенным каналам.

Неравенства (2.3.19) и (2.3.20) становятся до некоторой степени более удивительными, если интерпретировать второй блок на рис. 2.3.2 как устройство обработки данных, обрабатывающее выход первого блока, который в данном случае является каналом. Независимо от того, является ли эта обработка ансамбля детерминированной или вероятностной, она не может уменьшить неопределенность X или увеличить взаимную информацию о Это не означает, что никогда не следует обрабатывать выход канала и фактически обработка обычно необходима для того, чтобы как-либо использовать выход канала. Вместе с тем это означает, что среднюю взаимную информацию следует истолковывать как среднюю меру находящихся в распоряжении статистических данных, а не в терминах полезности представления. Этот результат будет обсужден более подробно в гл. 4.

Рис. 2.3.2. Последовательное соединение каналов.