§ 45. Энтропия равномерного и нормального распределений

Пусть плотность вероятности равномерно распределенной в некоторой области случайной величины X (если в частности X — скалярная величина, то область может представлять собой отрезок Так как равна нулю вне области то на основании формулы (43.1) энтропия случайной величины X выразится формулой

Легко заметить, что конкретное выражение плотности вероятности в формуле (45.1) не имеет никакого значения. Важно лишь, что эта плотность вероятности равна нулю всюду вне области Поэтому формула (45.1) останется справедливой, если заменить в ней произвольной плотностью вероятности равной нулю всюду вне области Следовательно, энтропия равномерного распределения может быть выражена формулой

где любая плотность вероятности, равная нулю вне области следовательно, удовлетворяющая условию

Перейдем теперь к определению энтропии нормально распределенной случайной величины Подставляя в формулу (43.1) выражение (11.6) плотности вероятности нормально распределенной скалярной случайной величины X, которую мы здесь обозначим через и принимая во внимание (8.7) и (10.6), получим:

Таким образом, энтропия нормального распределения определяется формулой

Легко заметить, что конкретное выражение плотности вероятности в формуле (45.4) не имеет никакого значения. Важно лишь, что момент второго порядка, соответствующий плотности вероятности равен Поэтому плотность вероятности в формуле (45.4) может быть заменена произвольной плотностью вероятности которой соответствует момент второго порядка Таким образом, энтропия нормального распределения может быть., выражена формулой

где любая плотность вероятности, удовлетворяющая условию

Для того чтобы определить энтропию -мерного нормально пределенного случайного вектора X, подставим выражение -мерной нормальной плотности вероятности в формулу (43.21). Тогда получим:

где определитель корреляционной матрицы случайного тора -алгебраическое дополнение элемента в определителе Так как

согласно известной формуле разложения определителя по элементам его строки, то

и формула (45.8) дает:

В частном случае, при формула (45.11) принимает вид (45.5). Так как в предыдущих выкладках конкретное выражение плотности вероятности не имеет никакого значения; а важны лишь значения вторых моментов, соответствующих плотности вероятности то энтропия многомерного нормального распределения может быть выражена формулой

где произвольная плотность вероятности, удовлетворяющая условиям:

Формула (45.12) может быть сокращенно записана в виде (45.6). Таким образом, формула (45.6) дает общее выражение энтропии нормального распределения, как одномерного, так и многомерного.

Сравнив формулы (45.2) и (45.6), видим, что энтропии равномерного и нормального распределений выражаются через некоторые произвольные плотности вероятности аналогичными формулами. Этим обусловливается тот факт, что равномерное и нормальное распределения обладают максимальной энтропией в определенных классах распределений. Это экстремальное свойство равномерного и нормального распределений является следствием общего неравенства (43.6), справедливого для любых плотностей вероятности (как одномерных, так и многомерных).

Пусть -произвольная непрерывная случайная величина, все возможные значения которой заключены в области Ее плотность вероятности удовлетворяет условию (45.3). Поэтому для нее справедлива формула (45.2). Полагая в получим на основании (43.1) и (45.2):

Это неравенство показывает, что среди всех случайных величин, все возможные значения которых заключены в некоторой области наибольшей энтропией обладают случайные величины, равномерно распределенные в области Это экстремальное свойство энтропии равномерного распределения аналогично доказанному в § 42 свойству энтропии прерывной случайной величины. Как мы видели в § 42 среди всех прерывных случайных величин, имеющих возможных заачений, наибольшей энтропией обладают случайные величины с равновероятными значениями.

Аналогично из формулы (45.6) и неравенства (43.6) выводится, что среди всех непрерывных случайных величин, имеющих один и тот же момент второго порядка (матрицу моментов второго порядка в случае векторных величин), наибольшей энтропией обладают нормально распределенные величины.

Пусть составляющие двумерного нормально распределенного случайного вектора; дисперсии случайных величин их корреляционный момент. Найдем количество информации о величине X, доставляемое наблюдением случайной величины К, и наоборот. В § 22 мы видели, что в этом случае и безусловные и условные законы распределения случайных величин являются нормальными. Поэтому для определения энтропий величин можно воспользоваться формулой (45.5). Тогда, принимая во внимание, что условная дисперсия случайной величины X, согласно формулам (22.7) и (22.11), равна и не зависит от значения у случайной величины К, придем к заключению, что условная энтропия случайной величины X не зависит от значения у величины У и, следовательно, совпадает со средней условной энтропией величины X относительно У. Тогда, применяя формулу (45.5), получим:

Вычитая формулу (45.16) почленно из (45.15) и принимая во внимание (44.7), найдем количество информации об одной из величин содержащейся в другой:

На основании определения (17.7) коэффициента корреляции случайных величин формулу (45.17) можно написать в более компактном виде:

Таким образом, количество информации об одной из составляющих нормально распределенного случайного вектора, получаемое в результате наблюдения другой составляющей, зависит только от коэффициента корреляции этих двух составляющих.