§ 1.3. Количество информации в сообщении. Энтропия

В этом параграфе мы сформулируем основное теоретикоинформационное понятие — количество информации в сообщении. Мы увидим, что информация определяется только вероятностными свойствами сообщений. Все другие их свойства, например, полезность для тех или других действий, принадлежность тому или иному автору и др., игнорируются. Это специфика теории информации, о которой иногда забывают, что часто приводит к неправильным выводам.

Пусть ансамбль сообщений,

Определение 1.3.1. Количеством собственной информации (или собственной инюрмацией) в сообщении называется число определяемое соотношением

Основание, по которому берется логарифм в этом определении, влияет на единицу измерения количества информации. Наиболее часто употребляются логарифмы по основанию 2 и натуральные логарифмы. В первом случае единица измерения количества информации называется «бит», во втором — «нат».

Всюду ниже (если не оговорено противное) будем использовать только двоичные логарифмы и измерять количество информации в битах.

Рассмотрим основные свойства количества информации.

1. Собственная информация неотрицательна. Она равна нулю только в том случае, когда сообщение имеет вероятность 1. Такое сообщение можно рассматривать как неслучайное и известное заранее до проведения опыта. То сообщение имеет большую собственную информацию, которое имеет меньшую вероятность.

2. Рассмотрим ансамбль Длякаждого сообщения из этого ансамбля, т. е. для каждой пары собственная информация Если сообщения статистически независимы, т. е. то

Это свойство называется свойством аддитивности информации.

Количество информации, определяемое соотношением (1.3.1), является действительной функцией на ансамбле следовательно, представляет собой случайную величину со значениями

Определение 1.3.2. Математическое ожидание случайной величины определенной на ансамбле называется энтропией этого ансамбля:

Энтропия представляет собой среднее количество собственной информации в сообщениях ансамбля

Рис. 1.3.1. Энтропия двоичного ансамбля.

Замечание. Согласно определению 1.3.1 собственная информация принимает бесконечные значения для сообщений, вероятности которых равны нулю. Однако энтропия любого дискретного ансамбля конечна, так как выражение вида при по непрерывности доопределяется как 0. Основанием для такого доопределения является следующее соотношение:

которое получается в результате применения правила Лопиталя для раскрытия неопределенности типа

Пример 1.3.1. Пусть двоичный ансамбль и

— вероятности его сообщений. В этом случае энтропия является функцией одной переменной

Эта функция показана на рис. 1.3.1. В точках она не определена и в соответствии с предыдущим замечанием доопределяется до нуля.

Поведение энтропии как функции от может быть исследовано с помощью вычисления производной от правой части равенства (1.3.4) (см. задачу 1.3.1).

Рассмотрим теперь свойства энтропии.

1. Энтропия всякого дискретного ансамбля неотрицательна:

Равенство нулю возможно в том и только в том случае, когда существует некоторое сообщение для которого при этом вероятности остальных сообщений равны нулю.

Неотрицательность следует из того, что собственная информация каждого сообщения дискретного ансамбля неотрицательна.

Равенство нулю возможно только тогда, когда каждое слагаемое в (1.3.3) равно нулю, а это равносильно условию, указанному выше.

2. Пусть число сообщений в ансамбле X, тогда

причем равенство имеет место в том и только в том случае, когда все сообщения ансамбля имеют одинаковые вероятности.

Это неравенство можно доказывать с помощью стандартных методов поиска условного экстремума функции нескольких переменных. Однако имеется простое доказательство, основанное на следующем неравенстве для натурального логарифма:

где равенство имеет место только при (см. рис. 1.3.2). Для доказательства (1.3.6) рассмотрим разность

Теперь используем неравенство (1.3.7). В результате получим

Отсюда следует неравенство (1.3.6). Поскольку равенство в (1.3.7) имеет место только тогда, когда аргумент логарифма равен единице, то равенство в (1.3.6) имеет место только тогда, когда для всех т. е. когда для всех

Таким образом, энтропия принимает наименьшее значение О для ансамбля, в котором сообщения предопределены заранее — одно из них появляется всегда, остальные — никогда. Энтропия

принимает наибольшее значение когда все сообщения одинаково вероятны. Эти два свойства часто используют для того, чтобы толковать энтропию как степень идил меру неопределенности (степень неопределенности знаний экспериментатора) в эксперименте с получением сообщений ансамбля. Если сообщения заранее предопределены и экспериментатор знает, какое сообщение он получит, то неопределенность и энтропия равны нулю. Если ни одно сообщение не имеет преимуществ по отношению к другим и экспериментатор с одинаковыми шансами может получить любое сообщение, то как неопределенность, так и энтропия максимальны. Такое качественное толкование энтропии полезно, но не достаточно. Позже мы подробнее остановимся на содержательном смысле энтропии как скорости создания и нформации источником.

Рис. 1.3.2. К неравенству для логарифма (1.3.7).

3. Пусть статистически независимые ансамбли (см. 1.1.4).

Тогда для каждой пары сообщений выполняется равенство (1.3.2). Усредняя левую и правую части (1.3.2) по распределению и учитывая, что есть энтропия ансамбля получим

Это свойство называется свойством аддитивности энтропии.