10. Энтропия «как мера разброса

Теория распределений вероятностей, бегло изложенная в §§ 3—9, применима в тех случаях, когда мы имеем дело с случайными явлениями, которые могут быть выражены численно. Шумовое напряжение, например, может быть описано численно и лишь поэтому, говоря о нем, можно использовать такие понятия, как среднее значение, дисперсия и т. д. Если мы имеем дело с признаками, которые являются только качественными, то не существует математических функций от них в обычном смысле. Например, если мы в качестве признака возьмем принадлежность произвольно выбранного лица к той или иной политической партии, тогда разным партиям можно приписать вероятности, но не будет никакого смысла говорить о средней партии, о дисперсии, о сумме двух независимых испытаний. И все же может существовать необходимость выразить численно разнообразие признаков. Совершенно ясно, что мера разнообразия должна быть функцией одних лишь вероятностей, а не самих признаков. Многие функции вероятностей могут быть предложены в качестве меры разнообразия или беспорядочности, но одна из них имеет особенно большое значение в физике, а также в настоящее время в теории связи.

Допустим для начала, что дискретное распределение охватывает возможных случаев, все с равными вероятностями Степень

разнообразия, очевидно, растет с ростом , поэтому мы должны постулировать монотонное возрастание функции от являющейся мерой разнообразия. Будет разумным выбрать функцию, которая для когда совсем нет разброса, имеет значение, равное нулю. Среди бесконечного числа других функций этим требованиям удовлетворяет логарифм; есть энтропия множества равновероятных признаков независимо от того, какова их природа. В физике возможными признаками могут быть квантовые состояния. Физическая энтропия содержит в качестве множителя постоянную Больцмана, но в теории информации удобней не вводить постоянного множителя и измерять энтропию в безразмерных единицах, зависящих лишь от выбора основания логарифмов. Энтропия есть просто логарифмическая мера беспорядочности или априорной неопределенности результата испытания. Важным свойством энтропии, имеющим характер постулата, является ее аддитивность при независимых испытаниях. Так, если одно испытание дает событие, выбранное из полной группы равновероятных событий, а другое независимое испытание дает одно событие из равновероятных, существует совместных равновероятных событий. Совместная энтропия равна что удовлетворяет постулату.

Если мы имеем множество не равновероятных событий, то очевидно, уже не является подходящей мерой. Так, например, если одна из вероятностей окажется равной нулю, мы не будем энать, брать ли или Однако легко догадаться, какой должна быть общая формула. Допустим сперва, что вероятность признака А есть Независимо от того, сколько различных признаков в действительности может появиться, А имеет такую же вероятность при равновероятных признаках. Таким образом, или описывает по меньшей мере, как раньше, первоначальную неопределенность признака А (если не целое, эта же формула следует из требования непрерывности). Рассмотрим теперь совместную энтропию для последовательности из независимо повторяющихся испытаний. Если велико, признак X появится раз. Но согласно постулату аддитивности общая энтропия равна

а отсюда ее среднее значение на одно испытание

Это выражение можно назвать энтропией распределения вероятностей равна нулю, когда все вероятности в множестве, кроме одной, равны нулю. При заданном числе признаков она наибольшая, когда вероятности всех признаков равны. Если число признаков бесконечно, Я не имеет верхней границы.

Выражение (78) не может быть непосредственно применено к непрерывному распределению так как обычные предельные переходы, с помощью которых гумма превращается в интеграл, приводят к расходимости. Так, мы можем вычислить

по всем элементам распределения величины х, но сумма неограниченно растет, когда неограниченно убывает. Чем больше мы заботимся о точности определения тем большей становится априорная неопределенность.

Однако, если зафиксировать под знаком логарифма, то существует очевидный способ превратить (79) в интеграл

Энтропия распределения определяется путем выбора для х произвольного стандарта точности При этом

Произвольный выбор величины эквивалентен добавлению произвольной постоянной, зависящей от принятой степени точности. Поэтому абсолютное значение имеет лишь разность двух энтропий, вычисленных в одной и той же координатной системе в нашем случае). Например, энтропия прямоугольного распределения ширины X есть В действительности это означает лишь то, что его энтропия больше энтропии прямоугольного распределения единичной ширины на Последнее утверждение не зависит от выбора в (80).

Отметим, что при переходе к непрерывным распределениям признаки по необходимости сделались численными. Темчне менее энтропия сохранила свое характерное свойство — независимость от действительных значений признаков. Значение интеграла (81) не зависит от того, какому именно значению х соответствует то или иное частное значение Действительно, распределение может быть разрезано на полоски и различные полоски могут быть отделены или даже переставлены, и, если только масштаб не меняется, это никак не влияет на энтропию. Такого рода преобразование яснее описывается рисунком, чем словами (см. рис. 7).

Как уже было отмечено, важным свойством энтропии является ее аддитивность для независимых величин. Это можно проверить с помощью теоремы умножения; в общем случае имеем

Можно установить правила действия над энтропией, похожие на правила действия над вероятностями; везде, где встречаются произведения вероятностей, мы находим суммы энтропий.

Рис. 7. Примеры преобразования, оставляющего неизменной энтропию.

Наиболее интересная математическая задача заключается в том, чтобы, наложив некоторые произвольные ограничения на неизвестное распределение искать затем тот вид при котором энтропия максимальна. (Предварительные ограничения необходимы для того, чтобы не могла расплыться, как клубок дыма, от до с равномерной плотностью.) Например, легко показать, что если х заключен внутри интервала шириной распределение, дающее максимальную энтропию, равномерно в этом интервале, и результирующая энтропия равна Или, если среднее значение х фиксировано и х должен быть всегда положительным, то распределение экспоненциально. Из этих задач одна имеет особую важность. Зафиксируем средний квадрат х (это может соответствовать фиксированной средней мощности шума). Тогда мы должны обратить в максимум интеграл

при добавочных требованиях

Обычный способ заключается в том, что образуется выражение

где "неопределенные множители" при добавочных интегралах, затем этот составной интеграл обращается в максимум путем варьирования Дифференцируя относительно получаем условие

откуда

Наконец, используя условия (83), определяем (86) превращается в

Подставляя (87) в (81), получаем энтропию

Таким образом, при заданном среднем квадрате х, гауссово распределение является наиболее беспорядочным из всех.