18.7. Энтропия и информация для систем с непрерывным множеством состояний

До сих пор мы рассматривали физические системы, различные состояния которых  можно было все перечислить; вероятности этих состояний были какие-то отличные от нуля величины . Такие системы аналогичны прерывным (дискретным) случайным величинам, принимающим значения  с вероятностями . На практике часто встречаются физические системы другого типа, аналогичные непрерывным случайным величинам. Состояния таких систем нельзя перенумеровать: они непрерывно переходят одно в другое, причем каждое отдельное состояние имеет вероятность, равную нулю, а распределение вероятностей характеризуется некоторой плотностью. Такие системы, по аналогии с непрерывными случайными величинами, мы будем называть «непрерывными», в отличие от ранее рассмотренных, которые мы будем называть «дискретными». Наиболее простой пример непрерывной системы - это система, состояние которой описывается одной непрерывной случайной величиной  с плотностью распределения . В более сложных случаях состояние системы описывается несколькими случайными величинами  с плотностью распределения . Тогда ее можно рассматривать как объединение  простых систем .

Рассмотрим простую систему , определяемую одной непрерывной случайной величиной  с плотностью распределения  (рис. 18.7.1). Попытаемся распространить на эту систему введенное в  18.1 понятие энтропии.

Рис. 18.7.1.

Прежде всего отметим, что понятие «непрерывной системы», как и понятие «непрерывной случайной величины», является некоторой идеализацией. Например, когда мы считаем величину  - рост наугад взятого человека - непрерывной случайной величиной, мы отвлекаемся от того, что фактически никто не измеряет рост точнее, чем до 1 см, и что различить между собой два значения роста, разнящиеся, скажем, на 1 мм, практически невозможно. Тем не менее, данную случайную величину естественно описывать как непрерывную, хотя можно было бы описать ее и как дискретную, считая совпадающими те значения роста, которые различаются менее чем на 1 см.

Точно таким образом, установив предел точности измерений, т. е. некоторый отрезок , в пределах которого состояния системы  практически неразличимы, можно приближенно свести непрерывную систему  к дискретной. Это равносильно замене плавной кривой  ступенчатой, типа гистограммы (рис. 18.7.2); при этом каждый участок (разряд) длины  заменяется одной точкой-представителем.

Рис. 18.7.2.

Площади прямоугольников изображают вероятности попадания в соответствующие разряды: . Если условиться считать неразличимыми состояния системы, относящиеся к одному разряду, и объединить их все в одно состояние, то можно приближенно определить энтропию системы , рассматриваемой с точностью до :

.                  (18.7.1)

При достаточно малом :

,

и формула (18.7.1) принимает вид:

.                 (18.7.2)

Заметим, что в выражении (18.7.2) первый член получился совсем не зависящим от  - степени точности определения состояний системы. Зависит от  только второй член , который стремится к бесконечности при . Это и естественно, так как чем точнее мы хотим задать состояние системы , тем большую степень неопределенности мы должны устранить, и при неограниченном уменьшении  эта неопределенность растет тоже неограниченно.

Итак, задаваясь произвольно малым «участком нечувствительности»  наших измерительных приборов, с помощью которых определяется состояние физической системы , можно найти энтропию  по формуле (18.7.2), в которой второй член неограниченно растет с уменьшением . Сама энтропия  отличается от этого неограниченно растущего члена на независимую от  величину

.                    (18.7.3)

Эту величину можно назвать «приведенной энтропией» непрерывной системы . Энтропия  выражается через приведенную энтропию  формулой

.              (18.7.4)

Соотношение (18.7.4) можно истолковать следующим образом: от точности измерения  зависит только начало отсчета, при котором вычисляется энтропия.

В дальнейшем для упрощения записи мы будем опускать индекс  в обозначении энтропии и писать просто ; наличие  в правой части всегда укажет, о какой точности идет речь.

Формуле (18.7.2) для энтропии можно придать более компактный вид, если, как мы это делали для прерывных величин, записать ее в виде математического ожидания функции. Прежде всего перепишем (18.7.2) в виде

.              (18.7.5)

Это есть не что иное, как математическое ожидание функции  от случайной величины  с плотностью :

.                       (18.7.6)

Аналогичную форму можно придать величине :

.                             (18.7.7)

Перейдем к определению условной энтропии. Пусть имеются две непрерывные системы:  и . В общем случае эти системы зависимы. Обозначим  плотность распределения для состояний объединенной системы ;  - плотность распределения системы ;  - плотность распределения системы ;  - условные плотности распределения.

Прежде всего определим частную условную энтропию , т. е. энтропию системы  при условии, что система  приняла определенное состояние . Формула для нее будет аналогична (18.4.2), только вместо условных вероятностей  будут стоять условные законы распределения  и появится слагаемое :

.                    (18.7.8)

Перейдем теперь к полной (средней) условной энтропии , для этого нужно осреднить частную условную энтропию  по всем состояниям  с учетом их вероятностей, характеризуемых плотностью :

                 (18.7.9)

или, учитывая, что

,

.             (18.7.10)

Иначе эта формула может быть записана в виде

                     (18.7.11)

или

.                          (18.7.12)

Определив таким образом условную энтропию, покажем, как она применяется при определении энтропии объединенной системы.

Найдем сначала энтропию объединенной системы непосредственно. Если «участками нечувствительности» для систем  и  будут  и , то для объединенной системы  роль их будет играть элементарный прямоугольник . Энтропия системы  будет

.                       (18.7.13)

Так как

,

то и

.                (18.7.14)

Подставим (18.7.14) в (18.7.13):

,

или, по формулам (18.7.6) и (18.7.12)

,                       (18.7.15)

т. е. теорема об энтропии сложной системы остается в силе и для непрерывных систем.

Если  и  независимы, то энтропия объединенной системы равна сумме энтропий составных частей:

.                 (18.7.16)

Пример 1. Найти энтропию непрерывной системы , все состояния которой на каком-то участке  одинаково вероятны:

Решение.

;

или

.                (18.7.17)

Пример 2. Найти энтропию системы , состояния которой распределены по нормальному закону:

.

Решение.

.

Но

,

и

.                   (18.7.18)

Пример 3. Состояние самолета характеризуется тремя случайными величинами: высотой , модулем скорости  и углом , определяющим направление полета. Высота самолета распределена с равномерной плотностью на участке ; скорость  - по нормальному закону с м.о.  и с.к.о. ; угол  - с равномерной плотностью на участке . Величины  независимы. Найти энтропию объединенной системы.

Решение.

Из примера 1 (формула (18.7.17)) имеем

,

где  - «участок нечувствительности» при определении высоты.

Так как энтропия случайной величины не зависит от ее математического ожидания, то для определения энтропии величины  воспользуемся формулой (18.7.18):

.

Энтропия величины :

.

Окончательно имеем:

или

.              (18.7.19)

Заметим, что каждый из сомножителей под знаком фигурной скобки имеет один и тот же смысл: он показывает, сколько «участков нечувствительности» укладывается в некотором характерном для данной случайной величины отрезке. В случае распределения с равномерной плотностью этот участок представляет собой просто участок возможных значений случайной величины; в случае нормального распределения этот участок равен , где  - среднее квадратическое отклонение.

Таким образом, мы распространили понятие энтропии на случай непрерывных систем. Аналогично может быть распространено и понятие информации. При этом неопределенность, связанная с наличием в выражении энтропии неограниченно возрастающего слагаемого, отпадает: при вычислении информации, как разности двух энтропий, эти члены взаимно уничтожаются. Поэтому все виды информации, связанные с непрерывными величинами, оказываются не зависящими от «участка нечувствительности» .

Выражение для полной взаимной информации, содержащейся в двух непрерывных системах  и , будет аналогично выражению (18.5.4), но с заменой вероятностей законами распределения, а сумм - интегралами:

                (18.7.20)

или, применяя знак математического ожидания,

.                     (18.7.21)

Полная взаимная информация  как и в случае дискретных систем, есть неотрицательная величина, обращающаяся в нуль только тогда, когда системы  и  независимы.

Пример 4. На отрезке  выбираются случайным образом, независимо друг от друга, две точки  и , каждая из них распределена на этом отрезке с равномерной плотностью. В результате опыта одна из точек легла правее, другая - левее. Сколько информации о положении правой точки дает значение положения левой?

Решение. Рассмотрим две случайные точки  и  на оси абсцисс  (рис. 18.7.3).

Рис. 18.7.3.

Обозначим  абсциссу той из них, которая оказалась слева, а  - абсциссу той, которая оказалась справа (на рис. 18.7.3 слева оказалась точка , но могло быть и наоборот). Величины  и  определяются через  и  следующим образом

;          .

Найдем закон распределения системы . Так как , то он будет существовать только в области , заштрихованной на рис. 18.7.4.

Рис. 18.7.4.

Обозначим  плотность распределения системы  и найдем элемент вероятности , т. е. вероятность того, что случайная точка  попадет в элементарный прямоугольник . Это событие может произойти двумя способами: либо слева окажется точка , а справа , либо наоборот. Следовательно,

,

где  обозначена плотность распределения системы величин .

В данном случае

                  ,

следовательно,

;

и

Найдем теперь законы распределения отдельных величин, входящих в систему:

  при  ;

аналогично

  при  .

Графики плотностей  и  изображены на рис. 18.7.5.

Рис 18.7.5.

Подставляя ,  и  в формулу (18.7.20), получим

.

В силу симметрии задачи последние два интеграла равны, и

 (дв. ед.).

Пример 5. Имеется случайная величина , распределенная по нормальному закону с параметрами , . Величина  измеряется с ошибкой , тоже распределенной по нормальному закону с параметрами , . Ошибка  не зависит от . В нашем распоряжении - результат измерения, т. е. случайная величина

Определить, сколько информации о величине  содержит величина .

Решение. Воспользуемся для вычисления информации формулой (18.7.21), т. е. найдем ее как математическое ожидание случайной величины

.                        (18.7.22)

Для этого сначала преобразуем выражение

.

В нашем случае

,

   (см. главу 9).

Выражение (18.7.22) равно:

.

Отсюда

.               (18.7.23)

Ho , следовательно,

               (18.7.24)

Подставляя (18.7.24) в (18.7.23), получим

 (дв. ед.).

Например, при

 (дв. ед.).

Если ; , то  (дв. ед.).