§ 43. Энтропия непрерывной случайной величины

Энтропией непрерывной случайной величины X по аналогии с определением энтропии прерывной случайной величины мы назовем величину

где плотность вероятности случайной величины некоторый интервал, связанный со случайной величиной Основанием логарифмов в формуле (43.1) может служить произвольное положительное число а. Интервал введен в формулу (43.1) для того, чтобы величина под знаком логарифма была безразмерной. Этот интервал может быть выбран совершенно произвольно. В частном случае можно принять На основании свойства (8.7) плотности вероятности определение энтропии непрерывной случайной величины X можно переписать в виде:

Отсюда видно, что выбор интервала определяет положение нуля на шкале энтропии — начало отсчета энтропии случайной величины Это начало отсчета в принципе может быть выбрано произвольно,

однако оно должно быть одним и тем же при сравнении различных энтропий между собой.

На основании определения математического ожидания произвольной функции случайной величины (10.3) формулу (43.1) можно переписать также в виде:

В отличие от энтропии прерывной случайной величины энтропия непрерывной случайной величины может в общем случае принимать как положительные, так и отрицательные значения. Лишь для случайных величин с ограниченной плотностью вероятности если условиться всегда выбирать меньшим чем энтропия будет всегда положительной.

Из формул (43.1), (43.2) и (43.3) видно, что энтропия непрерывной случайной величины в общем случае зависит от ее закона распределения, в то время как энтропия прерывной случайной величины зависит только от части ее закона распределения, а именно от вероятностей ее возможных значений, и не зависит от распределения на числовой оси самих возможных значений.

Легко видеть, что энтропия случайной величины не изменяется при изменении начала отсчета случайной величины. Иными словами, случайная величина при любом неслучайном с имеет ту же энтропию, что и случайная величина

Рис. 17.

Рассмотрим частный случай, когда плотность вероятности равна нулю всюду, кроме интервалов длины А, а в каждом из этих интервалов постоянна и равна

График этой плотности вероятности показан на рис. 17. В этом случае формула (43.1) дает:

Полагая получим:

Таким образом, в рассмотренном частном случае формула (43.1) при дает выражение (42.1) энтропии опыта с конечным числом возможных результатов. Событием в данном случае является попадание значения непрерывной случайной величины X в отрезок длины А, на котором плотность вероятности отлична от нуля. Выражение (43.5) энтропии в рассматриваемом частном случае не зависит от А. Поэтому оно сохранится и при переходе к пределу при Но при этом предельном переходе случайная величина X обращается в прерывную случайную величину, плотность вероятности которой выражается при помощи -функции формулой (9.23). Таким образом, формула (43.1) в частном случае, когда выражается формулой (9.23), а дает энтропию прерывной случайной величины.

Переходим к дальнейшему изучению свойств энтропии. Из неравенства (42.4) вытекает неравенство

справедливое для любых плотностей вероятности как одномерных, так и многомерных. Действительно, из неравенства (42.4) и свойства (8.7) плотности вероятности следует:

Так как знак равенства в (42.4) имеет место только при , то знак равенства в (43.7) и (43.6) имеет место только в том случае, если

Неравенство (43.6) дает возможность доказать ряд интересных свойств энтропии. Пусть

где функция, удовлетворяющая условиям:

плотность вероятности случайной величины Очевидно, что функция обладает двумя основными свойствами плотности вероятности, так как и

Определим энтропию случайной величины К, плотность вероятности которой равна

Вычитая из формулы (43.12) почленно формулу (43.1), полагая (т. е. принимая для энтропий случайных величин общее начадо отсчета, чтобы их можно было сравнивать друг с другом) и принимая во внимание (43.10), получим:

Но в силу неравенства (43.6), справедливого как для одномерных, так и для многомерных плотностей вероятности,

так как функции являются плотностями вероятности в силу равенства (43.11) и аналогичного равенства

вытекающего из (43.10) и (43.11). Формула (43.13) и неравенство (43.14) показывают, что если плотность вероятности случайной величины У получается осреднением плотности вероятности случайной величины X с произвольным весом то энтропия случайной величины У не может быть меньше энтропии случайной величины Иными словами, всякое сглаживание плотности вероятности может привести только к увеличению энтропии, но не к уменьшению.

Если принять в где произвольная плотность вероятности, то на основании будет представлять собой композицию плотностей вероятности Таким образом, из доказанного предложения как следствие вытекает, что энтропия суммы независимых случайных величин не может быть меньше энтропии каждого из слагаемых. Поэтому энтропия любой величины, предстазляющей собой результат последовательного присоединения с течением времени независимых (или слабо зависимых) слагаемых, является монотонно возрастающей функцией времени. Этот факт лежит в основе известного положения кинетической теории газов, согласно которому энтропия любой физической системы возрастает со временем.

Другие свойства энтропии, вытекающие из неравенства (43.6), будут изучены в §§ 44 и 45.

Заменив в формуле (43.1) плотность вероятности случайной величины X ее условной плотностью вероятности относительно некоторой другой случайной величины К, получим условную энтропию случайной величины X относительно У:

Условная энтропия случайной величины X относительно У зависит от значения у случайной величины К, т. е. является функцией случайной величины У.

Средней условной энтропией случайной величины относительно У называется математическое ожидание условной энтропии величины X

относительно К, рассматриваемой как функция случайной величины

где плотность вероятности случайной величины На основании формулы (16.7) определение (43.17) средней условной энтропии случайной величины X относительно можно переписать в виде:

где совместная плотность вероятности случайных величин Сравнивая формулу (43.18) с общей формулой (17.1) для математического ожидания произвольной функции двух случайных величин, приходим к выводу, что формула (43.18) может быть написана также в виде:

Совершенно аналогично определяются условная энтропия и средняя условная энтропия случайной величины относительно

В частном случае, когда величины независимы, не зависит от у и все условные энтропии случайной величины X относительно совпадают с безусловной энтропией случайной величины X:

Все вышеизложенное относится в равной мере как к скалярным случайным величинам так и к случайным векторам В последнем случае каждый интеграл в предыдущих формулах следует понимать как кратный интеграл по области возможных значений случайного вектора X или К. Так, например, если X есть -мерный случайный вектор с составляющими то формула (43.1) в развернутом виде запишется следующим образом:

Пусть две произвольные случайные величины (скалярные или векторные). Объединим их в одну векторную случайную величину и обозначим через их совместную плотность

вероятности. Согласно формуле (43.3) энтропия объединенного случайного вектора равна:

Отсюда, принимая во внимание формулы (16.7) и (19.7) находим:

где плотность вероятности случайной величины условная плотность вероятности случайной величины вытекает формула

Вследствие симметрии можно написать также:

В частном случае, когда случайные величины независимы, и формулы (43.24) и (43.25) принимают вид:

Пусть теперь произвольные случайные величины (скалярные или векторные). Применяя последовательно формулу (43.24), получим формулу:

Действительно, объединяя при любом случайные величины в одну векторную случайную величину X и полагая получим на основании формулы (43.24):

Суммируя равёнства (43.28), соответствующие и производя сокращения, получим формулу (43.27).

В частном «случае, когда случайнее величины независимы, все условные энтропии, входящие в формулу (43.27), совпадают с безусловными энтропиями соответствующих случайных величин и формула (43.27) принимает вид:

Таким образом, энтропия векторной случайной величины, полученной путем объединения независимых случайных величин, равна сумме энтропий этих случайных величин.

Формулы выражают из основных свойств энтропии. Так как определение энтропии включает как частный случай определение энтропии прерывной случайной величины (точнее, бпытаг с конечным числом возможных результатов), то формулы (43.24) — (43.29) доказаны нами как для непрерывных, так и Для прерывных случайных величин.

Свойство энтропии, выражаемое формулами (43.24) — (43.29), вполне согласуется с нашими понятиями о степени неопределенности случайных величин. Так, например, формулы (43.24) и (43.25) можно прочитать V следующим образом: совместная неопределенность двух: случайных величин равна неопределенности одной из них плюс оста точная неопределенность второй, которая в среднем остается после того, как значение первой в результате опыта становится известными