6.2.2. ОСНОВНОЙ ПОНЯТИЙНЫЙ АППАРАТ ТЕОРИИ ИНФОРМАЦИИ

Частное количество информации.

Пусть дискретный источник сообщений, описанный в § 6.2.1, выдал некоторую последовательность символов а. Дадим формальное определение частного количества информации содержащейся в этом сообщении, исходя из следующих естественных требований.

1. Количество информации должно быть аддитивной функцией, т.е. для пары взаимно независимых сообщений оно должно равняться сумме количества информации в каждом из них, т. е.

2. Количество информации, содержащейся в достоверном сообщении (имеющем вероятность равно нулю.

3. Количество информации должно зависеть только от вероятности переданного сообщения, т.е.

4. Количество информации должно быть непрерывной функцией от

Можно показать, что единственная функция, удовлетворяюшая всем этим условиям, имеет вид

Основание логарифма в (6.8) может быть выбрано произвольным, что влияет лишь на единицу измерения количества информации. Если в качестве основания выбрано 2, то информация измеряется в двоичных единицах или в битах, а если (как в натуральных логарифмах), то информация будет измеряться в натуральных единицах или в натах. (В дальнейшем мы увидим, что выбор основания логарифма никак не повлияет на основные результаты теории информации, а именно на теоремы кодирования.) Из соотношения (6.8) видно, что количество информации, содержащейся в сообщении, тем больше, чем меньше вероятность его появления, причём количество информации, содержащейся в сообщении о "невозможном" событии, равно бесконечности. (Образно говоря, количество информации пропорционально "удивлению" от того, что оно произошло, причём "чудо", имеющее вероятность своего появления, близкую к нулю, даёт количество информации, близкое к бесконечности.)

Можно предвидеть возражения читателя, состоящее в том, что некоторые маловероятные, но не значимые для нас события (например, то, что муха села именно в данную точку потолка) не несут для нас информации, по крайней

мере в утилитарно понимаемом смысле этого слова. Поэтому следует сразу же подчеркнуть, что в теории информации, относящейся к связным проблемам, не рассматривается вопрос о полезности информации. Мы всегда выступаем здесь в роли связистов — "служащих", задача которых передать по каналам связи выданную нам источником информацию, не рассуждая о её полезности. Посмотрев же на проблему именно под этим углом зрения, можно интуитивно согласиться, что передать по каналу связи сообщение о расположении мухи в определённом месте потолка труднее, чем, например, сообщение отцу о рождении долгожданного сына, а не дочери.