6.4. Математические свойства энтропии
Энтропия измеряет количество неопределенности, неожиданности или информации, содержащееся в некоторой ситуации, скажем, в приеме сообщения или в результате эксперимента. Таким образом, она является важной функцией вероятностей отдельных возможных событий. При планировании эксперимента желательно обычно максимизировать ожидаемое количество полученной информации, т. е. максимизировать энтропию. Для этого нужно, по крайней мере частично, управлять вероятностями различных исходов эксперимента; нужно подходящим образом спланировать эксперимент. Критерий максимума энтропии все чаще используется в различных задачах. Поэтому имеет смысл исследовать энтропию саму по себе, независимо от тех приложений, которые рассматриваются.
Энтропия обладает рядом очень полезных математических свойств, которые необходимо исследовать прежде, чем углубляться в теорию. Первое свойство функции 
можно заметить с помощью рис. 6.4.1. Проводя касательную в точке 
находим, что ее наклон равен 
так что Уравнение касательной есть 
или 
Таким образом, при 
получаем полезное неравенство
Равенство имеет место только в точке 
Рис. 6.4.1. Граница функции 
Второе важное свойство выражает фундаментальное соотношение между энтропиями двух вероятностных распределений. Пусть первое распределение есть 
где (конечно) 
а второе 
Рассмотрим теперь выражение, в которое входят оба распределения вероятностей.
Используя предыдущее соотношение (6.4.1), получаем
Снова переходим к логарифмам по основанию 2 и получаем фундаментальное неравенство
Заметим, что равенство имеет место только тогда, когда 
для всех 
Естественно, опросить, какие условия на распределение вероятностей обеспечивают максимальное значение энтропии (минимум, очевидно, достигается в случае, когда одно из 
а остальные равны 0).
Имеем
Начнем с рассмотрения
Применяя первое неравенство (6.4.1), получаем
Таким образом,
равенство в (6.4.3) справедливо лишь в случае, когда все 
Другое доказательство этого важного результата состоит в использовании множителей Лагранжа и рассмотрении функции
Поскольку последнее уравнение не зависит от 
то все 
должны быть равны между собой, и каждое из них равно 
где 
число элементов распределения. Поэтому максимальное значение энтропии равно 
Для каждого распределения, отличного от равномерного, энтропия меньше, чем 
Простое часто встречающееся применение этого принципа дает стандартная система экзаменационных оценок 
Оставляя в стороне оценку 
обладающую особыми свойствами (она указывает, что студент должен сдавать экзамен еще раз), можно сделать вывод, что для получения из системы оценок максимального количества информации нужно стремиться к тому, чтобы все остальные оценки встречались одинаково часто. Можно, конечно, повысить значимость самых высоких знаний, ставя сравнительно мало оценок А. При этом, однако, информации придается другой смысл, отличный от определенного выше. Обычная практика американской аспирантуры заключается в том, что ставятся только оценки 
Это приводит к напрасной потере пропускной способности системы. Экстремальное распределение, при котором одно из 
равно 1, а все остальные равны 0, соответствует случаю постоянного сигнала. При этом не передается никакой информации.
