Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 1.3. Количество информации в сообщении. ЭнтропияВ этом параграфе мы сформулируем основное теоретикоинформационное понятие — количество информации в сообщении. Мы увидим, что информация определяется только вероятностными свойствами сообщений. Все другие их свойства, например, полезность для тех или других действий, принадлежность тому или иному автору и др., игнорируются. Это специфика теории информации, о которой иногда забывают, что часто приводит к неправильным выводам. Пусть Определение 1.3.1. Количеством собственной информации (или собственной инюрмацией) в сообщении
Основание, по которому берется логарифм в этом определении, влияет на единицу измерения количества информации. Наиболее часто употребляются логарифмы по основанию 2 и натуральные логарифмы. В первом случае единица измерения количества информации называется «бит», во втором — «нат». Всюду ниже (если не оговорено противное) будем использовать только двоичные логарифмы и измерять количество информации в битах. Рассмотрим основные свойства количества информации. 1. Собственная информация неотрицательна. Она равна нулю только в том случае, когда сообщение имеет вероятность 1. Такое сообщение можно рассматривать как неслучайное и известное заранее до проведения опыта. То сообщение имеет большую собственную информацию, которое имеет меньшую вероятность. 2. Рассмотрим ансамбль
Это свойство называется свойством аддитивности информации. Количество информации, определяемое соотношением (1.3.1), является действительной функцией на ансамбле Определение 1.3.2. Математическое ожидание
Энтропия представляет собой среднее количество собственной информации в сообщениях ансамбля
Рис. 1.3.1. Энтропия двоичного ансамбля. Замечание. Согласно определению 1.3.1 собственная информация принимает бесконечные значения для сообщений, вероятности которых равны нулю. Однако энтропия любого дискретного ансамбля конечна, так как выражение вида
которое получается в результате применения правила Лопиталя для раскрытия неопределенности типа Пример 1.3.1. Пусть — вероятности его сообщений. В этом случае энтропия является функцией одной переменной
Эта функция показана на рис. 1.3.1. В точках Поведение энтропии как функции от Рассмотрим теперь свойства энтропии. 1. Энтропия всякого дискретного ансамбля неотрицательна:
Равенство нулю возможно в том и только в том случае, когда существует некоторое сообщение Неотрицательность следует из того, что собственная информация каждого сообщения дискретного ансамбля неотрицательна. Равенство нулю возможно только тогда, когда каждое слагаемое в (1.3.3) равно нулю, а это равносильно условию, указанному выше. 2. Пусть
причем равенство имеет место в том и только в том случае, когда все сообщения ансамбля имеют одинаковые вероятности. Это неравенство можно доказывать с помощью стандартных методов поиска условного экстремума функции нескольких переменных. Однако имеется простое доказательство, основанное на следующем неравенстве для натурального логарифма:
где равенство имеет место только при
Теперь используем неравенство (1.3.7). В результате получим
Отсюда следует неравенство (1.3.6). Поскольку равенство в (1.3.7) имеет место только тогда, когда аргумент логарифма равен единице, то равенство в (1.3.6) имеет место только тогда, когда Таким образом, энтропия принимает наименьшее значение О для ансамбля, в котором сообщения предопределены заранее — одно из них появляется всегда, остальные — никогда. Энтропия принимает наибольшее значение
Рис. 1.3.2. К неравенству для логарифма (1.3.7). 3. Пусть Тогда для каждой пары сообщений
Это свойство называется свойством аддитивности энтропии.
|
1 |
Оглавление
|