1.2. Энтропия в случае неравновероятных возможностей и ее свойства

1. Пусть теперь вероятности различных возможностей (реализаций) не равны друг другу. Если, как и раньше, число возможностей равно М, можно рассматривать случайную величину I, принимающую одно из М значений. Взяв в качестве 5 номер возможности, получим, что эти значения равны Вероятности этих значений неотрицательны и подчинены условию нормировки:

Если применить формально равенство (1.1.8) к этому случаю, то получим, что каждому значению соответствует, вообще говоря, своя энтропия

Тем самым мы приписываем определенное значение энтропии каждой реализации величины Поскольку -случайная величина, то эту энтропию можно рассматривать как случайную величину.

Как и в § 1.1, апостериорная энтропия, имеющаяся после выяснения реализации , равна нулю. Поэтому информация, получаемая при выяснении реализации, численно равна первоначальной энтропии

Она, как и оказывается зависящей от вида реализации сообщения (от значения т. е. является случайной. Из этой формулы видно, что информация и энтропия велики, когда априорная вероятность данной реализации мала, и наоборот. Это вполне соответствует интуитивным представлениям.

Пример. Допустим, что нам интересно знать, сдал или не сдал экзамен данный студент. Примем следующие вероятности этих двух событий:

Отсюда видно, что этот студент является довольно сильным. Если нам сообщили, что он сдал экзамен, мы вправе сказать: «Ваше сообщение мне мало что дало, я и без этого предполагал, что он сдал». Количественно по формуле (1.2.2) информация этого сообщения равна

Если нам сообщили, что не сдал, мы скажем: — «Неужели?» и почувствуем, что в большей степени обогатились знаниями. Количество информации такого сообщения равно

В теории, однако, большую роль играет не случайная энтропия (соответственно информация) (1.2.1), (1.2.2), а усредненная энтропия, определяемая формулой

Будем называть ее больцмановской энтропией или больцмановской информацией. В приведенном выше примере усреднение по обоим сообщениям дает

Случайная величина , стоящая в индексе символа (в отличие от величины, стоящей в скобках в является «слепой», т. е. энтропия описывает случайную величину (зависит от вероятностей но не зависит от значения от реализации . Такая система обозначений в расширенном виде, включающем условные энтропии, будет нами применяться и далее.

Неопределенность типа встречающаяся в (1.2.3), когда отдельные вероятности равны нулю, всегда понимается в смысле Вследствие этого множество из М возможностей всегда можно дополнить любыми возможностями нулевой вероятности, а также в индексе энтропии дописать детерминированные (не случайные) величины. Например, справедливо равенство при любой случайной величине

2. Свойства энтропии.

Теорема 1.1. Как случайная, так и средняя энтропия всегда неотрицательны.

Это свойство связано с тем, что вероятность не может превзойти единицу и с тем, что постоянная К в (1.1.4) берется обязательно положительной. Поскольку то Это неравенство сохраняется, конечно, и после усреднения.

Теорема 1.2. Энтропия имеет максимальное значение, равное когда возможности (реализации) равновероятны, т. е. когда

Доказательство. Это свойство является следствием неравенства Иенсена (см., например, [1])

справедливого для любой выпуклой (вверх) функции (Функция является выпуклой при поскольку ). В самом деле, обозначая имеем

Подставляя (1.2.5), (1.2.6) в (1.2.4), получаем

Для частного вида функции неравенство (1.2.4) легко проверить непосредственно. Усредняя очевидное неравенство

получаем (1.2.4).

В общем случае для доказательства (1.2.4) удобно рассмотреть касательную к функции в точке Вследствие выпуклости имеем

Усредняя это неравенство, получаем (1.2.4).

Как видно из приведенного доказательства, теорема 1.2 осталась бы справедливой, если в определении энтропии логарифмическую

функцию заменить на любую другую выпуклую функцию. Перейдем к свойствам энтропии, которые являются специфическими для логарифмической, функции, а именно, к свойствам, связанным с аддитивностью энтропии.

Теорема 1.3. Если случайные величины независимы, то полная (совместная) энтропия распадается на сумму энтропий:

Доказательство. Допустим, что имеются две случайные величины первая из которых принимает значения а вторая — значения Существует пар , причем они имеют вероятности . Нумеруя пары в произвольном порядке номером , имеем

Вследствие независимости имеем

Поэтому

Усреднение последнего равенства дает , т. е. (1.2.7). Доказательство закончено.

Если имеются не две независимые случайные величины, а две группы независимых величин то приведенное рассуждение остается применимым при обозначении совокупности или ее номера через а — через

Свойство, указанное в теореме 1.3, является проявлением принципа аддитивности, который был взят нами за основу в § 1.1 и привел к логарифмической функции (1.1.1). Оно обобщается на случай нескольких независимых случайных величин При этом

что легко доказывается аналогичным способом.