2.5 Аксиоматическое введение количества информации

Количество информации, определенное в разд. 2.3, может быть выведено непосредственно из следующих четырех постулатов.

Постулат При заданном произведении ансамблей количество информации, содержащейся в -относительно является дифференцируемой функцией двух переменных:

Постулат II. При заданном произведении ансамблей количество информации содержащейся в при данном является той же самой функцией в которой, однако,

Постулат III. Количество информации, содержащейся в паре относительно удовлетворяет соотношению

Постулат IV. При заданных двух независимых ансамблях и т. е. ансамблях, для которых

количество информации о паре содержащейся в паре удовлетворяет соотношению

Эти четыре постулата подсказываются нашими интуитивными представлениями об условиях, которым должна удовлетворять целесообразно выбранная мера информации. Они достаточны, чтобы определить функциональный вид этой меры с точностью до постоянного множителя, который задает величину единицы информации. Предлагаемый далее вывод функционального вида меры информации включает два основных шага.

Первый шаг состоит в доказательстве того, что функция существование которой было постулировано, должна иметь вид

для того чтобы удовлетворять требованиям постулатов II и III. Иначе говоря, количество информации должно являться разностью между значениями, которые принимает некоторая функция если вместо переменной у подставить априорную вероятность и апостериорную вероятность Этот результат следует, как показано ниже, из постулата III (в сочетании с постулатами I и II), который требует, чтобы общее количество информации, содержащейся в и зависело от априорной вероятности и финальной апостериорной вероятности но не зависело от промежуточной вероятности

Второй шаг состоит в доказательстве того, что для удовлетворения постулата должно быть пропорционально Выбирая отрицательный коэффициент пропорциональности. получим окончательно

где основание логарифмов произвольно (см. разд. 2.3).

Доказательство равенства (2.36) можно получить следующим образом. Положим для сокращения записи

Из постулатов I, II, и III следует, что функция должна удовлетворять соотношению

Дифференцирование соотношения (2.39) по дает

Так как равенство (2.40) должно удовлетворяться для всех возможных значений то первый член должен не зависеть от а второй — от Кроме того, для обе частные производные должны быть равны по величине и противоположны по знаку. Отсюда следует, что

где - некоторая дифференцируемая функция одного переменного у. Тогда интегрирование этих двух уравнений по и 0 дает

где К — произвольная постоянная. Наконец, подставляя выражение (2.43) в (2.39), находим, что Тем самым доказательство соотношения (2.36) закончено.

Второй шаг — доказательство равенства (2.37), проводится следующим образом. Снова полагаем (для краткости)

Постулат IV [равенство (2.35)] требует, чтобы функция удовлетворяла равенству

Здесь мы воспользовались соотношениями

и

справедливыми в силу выражения (2.34).

Дифференцирование равенства (2.45) по дает

а дифференцирование по дает

так что

для всех возможных ненулевых значений Отсюда следует, что

где произвольная постоянная. Интегрируя, получаем

где другая произвольная постоянная.

Подставляя равенство (2.52) в (2.43), при получим

Значение может быть выбрано исключительно из соображений удобства. Поскольку —априорная вероятность, апостериорная вероятность, и при естественно считать количество информации положительным, мы выбираем значение отрицательным. Кроме того, так как выбор величины эквивалентен выбору основания логарифмов, то мы можем считать, что

что и дает выражение (2.37).