2.3. НЕКОТОРЫЕ ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

2.3.1. ИНФОРМАЦИЯ, ЭНТРОПИЯ

Получение информации можно свести к последовательности процессов выбора определенного символа из заданного набора. Заданный набор символов, который всегда должен содержать конечное число различных символов, в общем случае называется

алфавитом. Каждому символу из некоторого алфавита можно приписать определенную вероятность его появления.

Появление определенного символа можно рассматривать как событие Множества из возможных взаимоисключающих друг друга событий и соответствующих им вероятностей образуют поле событий причем справедливы следующие соотношения:

Если каждому событию приведено в соответствие определенное (конечное) числовое значение то называется случайной величиной с математическим ожиданием

Каждому событию можно привести в соответствие числовое значение с помощью которого может быть измерена информация, заключающаяся в появлении события . С этой точки зрения получение информации связано с устранением ранее существующей неопределенности. Связанная с событием информация! или мера устраняемой им неопределенности тем больше, чем более неожиданным было событие е. чем меньше вероятность Следовательно, является такой функцией вероятности значения которой тем больше, чем меньше

Совместное появление двух взаимно независимых событий, из X с вероятностями например, как пары в последовательности событий, по правилам теории вероятностей имеет вероятность Тогда информация, заключающаяся в паре событий,

и так как взаимно независимы, то разумно потребовать, чтобы количество информации, связанной с парой событий, было равно сумме количеств информации, содержащихся в отдельных событиях:

т.е.

Последнее выражение представляет собой функциональное уравнение логарифмической функции. Отсюда при использовании логарифма по основанию 2 с некоторым свободным параметром К получается

Параметр К определяется исходя из того, что решение об одном из двух независимых равновероятных событий содержит информацию в 1 бит. Поскольку каждое из двух таких событий имеет вероятность то согласно (2.5) получается или Отсюда

Выражение (2.6) можно рассматривать как определение понятия информации [2.11]. Информация, согласно (2.6), тем больше, чем менее вероятно появление соответствующего события. Наоборот, событие, которое можно предсказать с достоверностью , не несет информации.

Информация есть случайная величина. Поэтому можно в соответствии определить математическое ожидание информации в поле событий:

Это математическое ожидание, или средняя информация, называется энтропией множества событий При этом для

Если все событий имеют одинаковую вероятность, то и из (2.7)

В этом случае энтропия максимальна и в общем справедливо

Отклонение энтропии от ее максимального значения называют избыточностью:

«Относительная» избыточность

Для передачи данных особенно важен двоичный источник, алфавит которого состоит только из символов 0 и 1: Если символам приписаны вероятности то согласно

По предложению Бергера [2.12] функцию также функцией Шеннона. Ее вид показан на рис. 2.5. Функция обращается в единицу для и в нуль для В общем случае, если в выражении (2.7) не ограничиваться двоичным алфавитом, события со «средней»

-вероятностью дают относительно большой вклад в энтропию в то время как частые события из-за их малой информативности и редкие события из-за их ловероятности вносят в энтропию лишь малую долю.

Рис. 2.5. Функция Шеннона

Название «энтропия» для математического ожидания информации в поле событий первоначально было введено К. Э. Шенноном [2.4,

2.5] только на основе формальной аналогии с результатами Л. Больцмана, касающимися термодинамической энтропии. Однако, кроме этого, существует и физическая связь между обоими понятиями энтропии