ГЛАВА 2. ПРИМЕНЕНИЕ ОПРЕДЕЛЕНИЙ И ОБЩЕЕ ОБСУЖДЕНИЕ

1. Определения

В первой главе было показано, что мера информации как степени неопределенности, существовавшей до того, как выбор был сделан, является точной, но по необходимости ограниченной. Так, например, ценность информации не могла быть включена в эту меру.

Было также показано, что если возможные выборы имели неравные априорные вероятности, то эти вероятности могут рассматриваться как ограничения нашего выбора, что ведет в конечном счете к уменьшению количества информации.

Так, если априорные вероятности для символов (1), (2),... ...,(j),... равны соответственно , то количество информации на символ, как было показано ранее (см. (1.12)), равно

(2.1)

Это выражение было получено из формулы для информации на символ в случае, когда выбор не ограничен:

для различных равновероятных символов, где G — общее число использованных символов (мы заменили М раздела 5 главы 1 на . Исходя из (2.2), мы вывели формулу (2.1). Однако многие авторы, в особенности Шеннон, брали за исходное соотношение (2.1), из которого (2.2) следует непосредственно.

Действительно, положим, что мы имеем различных символов с одинаковыми априорными вероятностями. Тогда

и из (2.1) получаем:

а это и есть равенство (2.2).

Рассмотрим теперь некоторые свойства соотношения (2.1).

2. Свойство А

Если выбор разбит на два последовательных выбора, то первоначальная информация будет выражаться взвешенной суммой двух частичных информаций. Рассмотрим пример. Вероятность перехода из точки О в точку А равна 1/2, из в и из О в как показано схематически на рис. 2.1. Рассмотрим, однако, диаграмму рис. 2.2.

Рис. 2.1. Вероятности перехода из точки О в точки А, В и С.

Рис. 2.2. Вероятности перехода из точки О в точки А, В и С с промежуточной точкой М между точкой О и точками В и С.

На этом рисунке выбрана промежуточная точка М таким образом, что вероятность перехода из О в также равна 1/2. Это значит, что вероятность перехода из в В должна быть равна 2/3, так как первоначальная вероятность перехода из О в В равна 1/3. Аналогично, вероятность перехода из М в С равна 1/3.

Обозначим информацию, соответствующую рис. 2.1 через . Для рис. 2.2 информация для путей есть , а информация для путей есть . Полная информация для рис. 2.1 и 2.2 должна быть одинакова: . Из рис. 2.1 имеем:

или

Раскрывая и группируя, получаем:

Последнее выражение соответствует рис. 2.2, для которого полная информация должна равняться взвешенной сумме информации для путей OA, ОМ и MB, МС. Это — общий результат, являющийся следствием того факта, что информация — логарифмическая функция.