6.3. Энтропия

Если при приеме символа получаем единиц информации, то сколько информации принимается в среднем? Ответ состоит в том, что, поскольку вероятность получить единиц информации равна то в среднем для каждого символа имеем

Следовательно, усредняя по всему алфавиту символов получаем

Следуя традиции, эту важную величину (по основанию ) обозначим следующим образом:

Она называется энтропией системы с символами и вероятностями Ясно, что

Эта величина является энтропией источника в случае, когда принимаются во внимание только вероятности символов . В разд. 6.10 рассмотрена энтропия марковского, процесса.

Следует отметить, что выражение типа: «рассмотрим энтропию источника» имеет смысл только тогда, когда указана модель источника. Снова обратимся в качестве примера к случайным

числам. Имеются формулы для генерирования псевдослучайных чисел. Пусть они вычислены и занесены в таблицу. Если мы не поверим сразу, что это — псевдослучайные, числа, можно, попытаться вычислить энтропию, основанную на частотах появления отдельных чисел Поскольку генераторы псевдослучайных чисел достаточно хорошо имитируют случайные числа, окажется, что каждое следующеечисло является для нас полной неожиданностью. Если, однако, нам известна структура формулы, используемой для порождения таблицы, то после нескольких шагов мы сможем точно Предсказать последующие числа и никакой неожиданности не будет. Таким образом, оценка энтропии источника зависит от принятой модели.

В определение энтропии (6.3.1) входит только распределение вероятностей: энтропия является функцией и не зависит от Если, например, вероятности равны 0,4; 0,3; 0,2 и 0,1, то из третьего столбца таблицы в приложении получаем следующее:

Таким образом, энтропия этого распределения приближенно равна 1,84644. Хотя энтропию можно записать как т. е. в виде функции от в дальнейшем по-прежнему будут указываться алфавит и обозначение запись иногда используется в случае, когда имеется всего два события.

Рис. 6.3.1. График функций

Рис. 6.3.2. Энтропия для двух событий

График функции показан на Из равенства

видно, что в точке кривая имеет вертикальную касательную, а максимальное значение функции достигается при

В дальнейшем потребуется также равенство

Для его доказательства запишем левую часть в виде и применим правило Лопиталя, дифференцируя отдельно числитель и знаменатель. Получаем

В качестве еще одного примера вычисления энтропии распределения рассмотрим источник с алфавитом у которого При имеем энтропию

В качестве примера применения понятая энтропии рассмотрим бросание симметричной монеты, у которой выпадение герба и решетки считаются равновероятными:

Распределения, относящиеся всего к двум событиям, встречаются очень часто. Если обозначить через вероятность первого символа (события), то получаем, что функция энтропии

Значения этой функции приведены в последнем столбце таблицы, помещенной в приложении График ее показан на рис. 6.3.2. Заметим, что в точках функция имеет вертикальную касательную, поскольку

Аналогично при бросании правильной кости

а энтропия равна

Из этого, примера видно, что в случае, когда все вероятности равны, среднее значение по алфавиту совпадает с информацией, полученной от одного события.

Энтропия распределения отражает одно из свойств распределения, так же как в статистике среднее значение отражает одно из свойств распределения. Энтропия обладает свойствами как арифметического, так и геометрического среднего.

Задачи

6.3.1 Сколько информации мы получим, выбрав одну карту из колоды, содержащей 52 карты?

6.3.2. Вычислите энтропию распределения Ответ: