§ 42. Энтропия прерывной случайной величины

На основании изложенных в предыдущем параграфе соображений естественно принять в качестве меры неопределенности опыта, в результате которого появляется одно из несовместных событий образующих полную группу, величину

где

Величина определяемая формулой (42.1), называется энтропией данного опыта. Основанием логарифмов в выражении энтропии может служить любое положительное число а (не обязательно целое). Выбор основания логарифмов определяет единицу измерения энтропии. Для практических приложений удобно выражать энтропию через двоичные логарифмы. Единицей измерения энтропии в этом случае служит один двоичный знак. Так как в общей теории единицы измерения безразличны, то мы будем считать в дальнейшем, что основание логарифмов в формуле (42.1) равно некоторому положительному числу а.

Выражение энтропии (42.1) содержит только вероятности различных возможных результатов опыта и не содержит никаких других количественных характеристик опыта. Поэтому нет необходимости связывать понятие энтропии опыта, имеющего конечное число возможных исходов, с какой-либо случайной величиной. Однако вследствие того, что со всяким подобным опытом можно связать некоторую прерывную случайную величину, например номер появляющегося события, нам удобно будет для дальнейшего относить понятие энтропии к случайной величине. Пусть - прерывная случайная величина, закон распределения которой выражается формулой

Выражение (42.1) мы будем называть энтропией случайной величины X и обозначать, когда это будет необходимо, через

Из формулы (42.1) следует, что энтропия является непрерывной неотрицательной функцией вероятностей которая равна нулю только в том случае, если одна какая-либо из вероятностей равна единице, а остальные равны нулю, т. е. когда

величина X не случайна и рассматриваемый опыт не содержит никакой неопределенности.

Докажем теперь, что при данном энтропия принимает максимальное значение при т. е. когда все возможные значения случайной величины X равновероятны. Для доказательства воспользуемся неравенством

справедливым при любом 0. На основании неравенства (42.4) для любых положительных чисел удовлетворяющих условию

справедливо неравенство

Действительно, на основании (42.4) и (42.5)

Так как знак равенства в (42.4) имеет место только при то знак равенства в (42.7) и (42.6) имеет место только в том случае,

когда Полагая в получим:

Знак равенства здесь имеет место только при

В этом случае энтропия принимает, очевидно, значение Таким образом, неравенство (42.8) доказывает, что при данном числе возможных значений энтропия случайной величины максимальна в том случае, когда все возможные значения случайной величины равновероятны.

Так как монотонно возрастает при увеличении , то максимальное возможное значение энтропии прерывной случайной величины является монотонно возрастающей функцией числа возможных значений случайной величины

Доказанные свойства энтропии вполне согласуются с нашими представлениями о том, в каких случаях неопределенность опыта больше, а в каких меньше.