6. Мера информации Шеннона

Это краткое эвристическое введение в шенноновскую меру информации позволит читателю разобраться в гл. 2 и 5. Для более детального изучения рекомендуем книгу (Shannon, Weaver, 1949).

Информационная емкость «кассы». На рис. 122, а показана система с двумя возможными состояниями. Если положение точки заранее неизвестно и мы узнаем, что она, скажем, в левом ящике кассы, то по определению мы увеличим суммарную информацию на 1 бит. Имея эту информацию, мы экономим один вопрос (с возможными ответами «да» и «нет»), необходимый для определения

Рис. 122. Информационная емкость «кассы»: а — ящик с двумя состояниями; б — чтобы найти точку в системе с четырьмя состояниями, достаточно двух вопросов (слева или справа? вверху или внизу?); в — чтобы обнаружить точку на шахматной доске с состояниями, необходимо шесть вопросов.

местоположения точки. Таким образом, максимальная информация, содержащаяся в системе с двумя состояниями, — один бит.

Для обнаружения точки в ящике с четырьмя возможными состояниями требуется два вопроса, т. е. максимальное количество информации

(Мы будем в дальнейшем опускать единицу измерения — бит.)

Это равенство можно записать в виде логарифма по основанию два от числа возможных состояний

В соответствии с рис. 122, в вообще справедливо логарифмическое соотношение между максимальным количеством информации I и числом состояний

Приращение информации. Вычислим теперь среднее приращение информации, когда мы узнаем результат статистических событий. Предположим, что мы подбрасываем монету так, что «орлы» и «решки» равновероятны:

Информация полученная, если мы узнаем, что результат эксперимента, например, «орел»,

так как здесь два равновероятных состояния (рис. 122, а). Это утверждение можно выразить через

или

Уравнение можно обобщить на случай, когда все различны:

Тогда оно дает среднее приращение информации при многократном подбрасывании деформированной монеты.

Пусть где и q — взаимно простые целые. Выберем число событий так, что также целое число. Полное число различных состояний при подбрасываниях (деформированной) монеты равно

где выделены перестановки, соответствующие изменению порядка следования событий (последовательности где — орел, — решка, относятся к одному состоянию). В пределе при можно применить формулу Стирлинга, и выражение для среднего приращения информации преобразуется к виду

Это также подтверждает выражение которое можно обобщить (результат получен Шенноном): если априори известно только, что событий (или состояний системы) имеют место с вероятностями так что , и мы узнаем путем измерения, что имеет место событие j (или система в настоящий момент находится в некотором состоянии), то, многократно повторяя измерения, получим среднее приращение информации

Рис. 123. для эксперимента с двумя возможными результатами. Если мы уверены, что результатом будет событие 2 и информация не увеличивается. Максимум информации достигается когда неопределенность результата максимальна и можно больше всего извлечь из эксперимента.