§ 2.3. Относительная энтропия и ее свойства

Практически все свойства средней взаимной информации являются общими для дискретных и непрерывных ансамблей. Эта общность является следствием того, что и дискретный и непрерывный случаи являются частными в общей абстрактной схеме введения информационной меры на измеримых вероятностных пространствах Единственное отличие состоит в том, что для непрерывных ансамблей не определена собственная информация сообщений и, как следствие, не определена энтропия. Поэтому представление информации в виде разности энтропий (2.1.20) имеет место только в дискретном случае.

Однако можно ввести некоторые аналоги энтропий и в непрерывном случае и получить представление, похожее на (2.1.20). Рассмотрим среднюю взаимную информацию (2.2.32) между непрерывными ансамблями Используя условные функции плотности вероятностей, можно записать

Если обозначить

то, используя (2.2.7), получим, что

Величины если существуют соответствующие интегралы, называются относительными (или дифференциальными) энтропиями непрерывных ансамблей. Они имеют много общих свойств с энтропиями дискретных ансамблей.

Первое свойство, отличающее относительную энтропию от энтропии дискретных ансамблей, состоит в том, что она может принимать различные по знаку значения. Это будет показано с помощью следующих примеров, в которых вычислена относительная энтропия для некоторых простых распределений вероятностей.

Пример 2.3.1. Пусть f(х) - ф. п. в. равномерного на отрезке распределения:

Для ансамбля с таким распределением относительная энтропия Она принимает отрицательные значения, если

Пример 2.3.2. Пусть - ф. п. в. гауссовского распределения вероятностей с нулевым средним и дисперсией

Тогда

где использовано условие нормировки также то, что математическое ожидание равно нулю и, следовательно,

Пусть - непрерывный ансамбль, образованный нарой совместно заданных непрерывных ансамблей Величина

называется относительной энтропией ансамбля Представляя в виде произведения условной и безусловной ф. п. в., получим

т. е. относительная энтропия обладает свойством аддитивности.

Если совместно заданные непрерывных ансамблей то, используя соотношение получим

С помощью неравенства для логарифма (1.3.7) легко доказывается, что для непрерывных ансамблей

с равенством в том и только том случае, когда ансамбли статистически независимы, т. е. когда выполняется соотношение (2.2.10).

Рассмотрим один важный частный случай, когда выражение для условной относительной энтропии можно упростить. Пусть две случайные величины, связанные равенством где с. в. статистически не зависит от Обозначим через этой с. в. Тогда, как нетрудно увидеть,

Действительно, левая часть это ф. п. в. с. в. У при фиксированном значении Так как при этом с. в. отличаются только математическим ожиданием (математическое ожидание равно математическому ожиданию плюс то имеет место (2.3.10). Отсюда следует, что при любом

где третье равенство — результат замены переменных, а четвертое — следствие независимости Усредняя обе части (2.3.11) по всем х, получим, что для рассматриваемых с. в.

Относительная энтропия определяется распределением вероятностей на ансамбле, и естественным является вопрос о том, для каких распределений она больше. Однако такой вопрос без дополнительных ограничивающих предположений лишен смысла, поскольку, как видно, например, из (2.3.4) или (2.3.5), относительная энтропия может быть сделана сколь угодно большой либо соответствующим выбором интервала в первом случае, либо выбором параметра во втором.

Пусть такой класс ф. п. в. на числовой прямой, что для каждой функции выполняется условие

Слева в этом неравенстве написан второй начальный момент распределения с ф. п. в. f {х). Он называется средней мощностью с. в ф. п. в. которой есть Название связано с тем, что в случае, когда х есть напряжение, то есть мощность в единичном сопротивлении. Таким образом, множество ф. п. в. для с. в. со средней мощностью, ограниченной числом

Теорема 2.3.1. Для любой выполняется неравенство

где -относительная энтропия ансамбля Равенство имеет место в том случае, когда

т. е. когда распределение вероятностей является гауосовским и имеет нулевое среднее и дисперсию

Доказательство. Докажем вначале вспомогательное неравенство. Пусть произвольная функция из тогда

Из этого неравенства следует, что

Отсюда, применяя неравенство для логарифма, получим

где последнее равенство следует из того, что каждое из выражений в квадратных скобках равно единице. Таким образом, получено неравенство (2.3.14). Случай равенства получается, когда имеет место равенство в неравенстве для логарифма, т. е. когда ф. п. в. определяется формулой (2.3.15). Теорема доказана.

Таким образом, мы показали, что среди всех случайных величин с ограниченным средним квадратом наибольшей относительной энтропией обладает гауссовская случайная величина. То, что эта случайная величина имеет нулевое математическое ожидание, не является существенным требованием. Легко показать (см. задачу 2.3.2), что случайные величины, отличающиеся только математическим ожиданием, имеют одинаковые относительные энтропии. Поэтому упоминание в теореме 2.3.1 о том, что математическое ожидание равно нулю, можно опустить.

Рассмотрим теперь относительную энтропию системы случайных величин с совместной Обозначим через математические ожидания этих величин:

где функции определяются соотношениями (2.2.9). Обозначим через корреляционный момент с. в.

Матрица элементами которой являются корреляционные моменты называется корреляционной матрицей системы с. в.

Относительная энтропия системы с. в. определяется соотношением

где Мы хотим показать, что в -мерном случае сохраняется свойство экстремальности гауссовского распределения вероятностей по отношению к относительной энтропии, доказанное для одномерного случая в теореме 2.3.1. Для того чтобы это сделать, необходимо ввести некоторые дополнительные определения.

Обозначим через К 1 матрицу, обратную матрице К, т. е. такую, что

где единичная матрица порядка Обратная матрица всегда существует, если матрица К обладает ненулевым определителем, что в дальнейшем и будет предполагаться:

Так как то матрица К и, как нетрудно доказать, матрица являются симметрическими. Из определения обратной матрицы и определения матричного умножения следует, что

где элементы матрицы а отсюда и из симметричности матрицы К следует, что

Функция

называется -мерного невырожденного гауссовского распределения вероятностей. Если с. в. имеют ф. п. в. (2.3.25), то эти с. в. называются совместно гауссовскими. Можно показать, что в этом случае каждая из с. в. системы также имеет гауссовское распределение вероятностей.

Теорема 2.3.2. Пусть — класс с заданными значениями математических ожиданий и заданной корреляционной матрицей Для любой функции выполняется неравенство

причем равенство имеет место в том случае, когда есть -мерного гауссовского распределения вероятностей с математическими ожиданиями и корреляционной матрицей К, т. е. когда

Доказательство. Докажем вначале вспомогательное равенство. Пусть произвольная функция из тогда

Очевидно (см. (2.3.19) и (2.3.24)), что

откуда

Используя это равенство и неравенство для логарифма, получим

что и доказывает теорему.

Как и в одномерном случае, легко доказать, что относительная энтропия системы с. в. не зависит от математических ожиданий, поэтому упоминание о математических ожиданиях в теореме 2.3.2 можно опустить.

Пример 2.3.3. Здесь мы дадим пример использования теоремы 2.3.2 для вычисления средней взаимной информации между двумя гауссовскими случайными векторами. Пусть вектор, образованный системой гауссовских с. в. с нулевыми средними и корреляционной матрицей Пусть такой же вектор с корреляционной матрицей ; будем считать, что векторы статистически независимы. Нас интересует средняя взаимная информация между векторами Как было показано выше,

Так как У — гауссовский вгктор и корреляционная матрица этого вектора

где третье равенство есть следствие независимости векторов то (см задачу 2.4.3) и

Условная относительная энтропия поскольку где вектора Аргументация здесь в точности такая же, как и при получении соотношения (2.3.12). Следовательно,

и