3.2. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ
Чтобы
разработать подходящую меру для информации, рассмотрим две дискретные случайные
величины
и
с возможными значениями
,
, и
,
соответственно.
Допустим, мы наблюдаем некоторый выход
и мы желаем количественно определить
величину информации, которую обеспечивает выборка события
относительно события
,
. Заметим, что если
и
статистически
не, зависят друг от друга, выбор
не даёт
информации о выборе события
. С другой стороны,
если
и
полностью зависимы,
так что выбор
однозначно
определяет выбор
,
информационное содержание этого выбора точно такое же, как при выборе события
. Подходящая мера
информации, которая удовлетворяет указанным условиям, - это логарифм отношения условной вероятности
к вероятности
.
Это значит, что количество информации, полученное при
появлении события
относительно
события
определяется как
. (3.2.1)
названа взаимной информацией между
и
.
Единица измерения
определяется основанием логарифма, в
качестве которой обычно выбирается или 2, или
. Когда основание логарифма равно 2,
единицей измерения
является бит, а когда
основание равно
,
единицей измерения
является нат
(натуральная единица). (Стандартная аббревиатура для
- это
.) Так как
,
то количество информации, измеренное в натах, равно
количеству информации измеренной в битах, умноженному на
.
Когда случайные величины
и
статистически независимы, то
, следовательно,
. С другой стороны, когда
выбор события
полностью
определён выбором события
условная вероятность в числителе (3.21) равна единиц
и, следовательно,
. (3.2.2)
Но (3.22) как раз определяет информацию
. Исходя из этих
соображений, её называют собственной
информацией события
. Она обозначается так:
, (3.2.3)
Заметим, что событие, которое выбирается с высокой
вероятностью, сообщает меньше информации, чем маловероятное событие. Действительно,
если имеется единственное событие
с вероятностью
, тогда
.
Чтобы далее показать, что логарифмическая мера
количества информации является единственно приемлемой для цифровой связи,
рассмотрим несколько примеров.
Пример 3.2.1. Предположим, что имеется дискретный источник, который выдаёт двоичную
цифру 0 или 1 с равной вероятностью каждые
секунд. Количеств информации при
каждом появлении новой цифры
(бит),
.
Теперь предположим, что последовательные цифры на
выходе источника статистически независимы, т.е. источник не имеет памяти.
Рассмотрим блок символов источника из
двоичных
цифр, который существует на интервале
. Имеется
таких возможных
-битовых блоков, каждый с равной
вероятностью
.
Собственная информация
-битового блока равна
бит,
и она выдаётся на временном интервале
. Таким
образом, логарифмическая мера количества информации обладает желаемыми свойствами
аддитивности, когда определённое число единичных выходов источника
рассматривается как один блок.
Теперь вернёмся к определению взаимной информации,
определяемой (3.2.1), и умножим числитель и знаменатель отношения вероятностей
на
:
.
Отсюда делаем вывод
. (3.2.4)
Таким образом, информация, содержащаяся в выборе
события
относительно
события
, идентична информации,
содержащейся в выборе события
относительно события
.
Пример
3.2.2. Предположим, что
и
-двоичные {0,1}
случайные величины, представляющие вход и выход канала с
двоичным входом и двоичным выходом. Входные символы равновероятны, а условные
вероятности выходных символов при заданном входе определяются так:
,
,
,
.
Определим, сколько информации об
и
содержится
в событии
. Из заданных
вероятностей получим
;
.
Тогда взаимная информация о символе
при условии, что
наблюдается
,
равна
.
Аналогично взаимная информация о символе
при условии, что
наблюдается
,
равна
.
Рассмотрим несколько частных случаев. В первом, когда
,
канал называют каналом без шумов
и
бит.
Следовательно, когда выход точно определяет вход, нет
потери информации. С другой стороны, если
, канал становится непригодным так как
.
Если
, то
бит;
бит.
Помимо определения взаимной информации и собственной
информации полезно определить условную
собственную информацию как
. (3.2.5)
Тогда, комбинируя (3.2.1), (3.2.3) и (3.2.5), получаем
соотношение
. (3.2.6)
Мы интерпретируем
как
собственную информацию о событии
после
наблюдения события
. Из условия
и
следует, что
когда
, и
, когда
.
Следовательно, взаимная информация между парой событий может быть или положительной,
или отрицательно или равной нулю.