§ 46. Единственность определения энтропии прерывной случайной величины

В § 42 мы определили энтропию прерывной случайной величины формулой (42.1) и, обобщив это определение на непрерывные случайные величины, вывели основные свойства энтропии, согласующиеся с нашими интуитивными представлениями о неопределенности статистических опытов. Возникает естественный вопрос: может быть, можно принять за меру неопределенности опытов какую-либо другую характеристику, обладающую теми же свойствами, что энтропия? Оказывается, что это невозможно. Энтропия как мера неопределенности опыта с конечным числом возможных исходов однозначно» определяется тремя своими основными свойствами:

1) энтропия является непрерывной функцией вероятностей возможных значений случайной величины;

2) если рассматривать только случайные величины с равновероятными значениями, то энтропия является монотонно возрастающей функцией числа возможных значений случайной величины;

3) энтропия обладает свойством аддитивности, выражаемым формулами (43.27) и (43.29).

Для доказательства рассмотрим сначала независимых случайных: величин каждая из которых имеет равновероятных возможных значений. Так как, согласно второму свойству, энтропия случайной величины с равновероятными возможными значениями: является функцией числа возможных значений то, обозначив эту функцию через можем написать:

Рассмотрим теперь векторную случайную величину, составляющими которой являются величины Вследствие независимости случайных величин эта векторная случайная величина имеет равновероятных возможных значений. Следовательно, ее энтропия, т. е. совместная энтропия случайных величин равна

С другой стороны, на основании третьего свойства энтропии, выражаемого для независимых случайных величин формулой (43.29),

Сравнивая (46.2) и (46.3), получаем равенство

справедливое для любых целых положительных

Пусть произвольное целое положительное число. Тогда существует такое целое положительное число что

Вследствие второго свойства энтропии имеем:

или, учитывая (46.4),

Отсюда находим:

и

С другой стороны, логарифмируя неравенства (46.5), получим:

Эти неравенства вполне аналогичны неравенствам (46.7). Поэтому, совершенно так же, как из (46.7) были выведены неравенства (46.9), из (46.10) следует:

Из (46.9) и (46.11) вытекает неравенство

Так как это неравенство справедливо при любом целом то оно равноценно равенству:

Фиксируя здесь и рассматривая как переменную, можем переписать это равенство в виде:

где с — постоянная.

Рассмотрим теперь случайную величину X, имеющую возможных значений, вероятности которых представляют собой рациональные числа:

Введем вспомогательную случайную величину зависимую от имеющую равновероятных возможных Значений при

Очевидно, что векторная случайная величина, составляющими которой являются случайные величины имеет возможных значений, причем все эти значения равновероятны. Применяя для вычисления энтропии векторной случайной величины и условной энтропии случайной величины У формулу (46.14), будем иметь:

Средняя условная энтропия случайной величины У относительно X будет на основании определения (43.17) и формул (46.15) и (46.16) равна:

Энтропия случайной величины X может быть теперь определена на основании третьего свойства из формулы (43.24), представляющей собой частный случай формулы (43.27):

Таким образом, из второго и третьего свойств энтропии следует, что в случае рациональных вероятностей возможных значений случайной величины ее энтропия должна выражаться формулой (46.18). А так как энтропия на основании первого свойства является непрерывной функцией вероятностей возможных значений случайной величины, то формула (46.18) должна быть справедливой и в случае произвольных вероятностей

Итак, мы доказали, что перечисленные в начале параграфа три свойства энтропии прерывной случайной величины вполне определяют ее аналитическое выражение с точностью до постоянного множителя. Но вопрос о выборе этого множителя представляет собой по существу вопрос о выборе единиц измерения энтропии или, что одно и то же, основания логарифмов в формуле (42.1). Следовательно, формула (42.1) дает единственное возможное выражение энтропии прерывной случайной величины, удовлетворяющее перечисленным в начале параграфа трем условиям.