§ 5.4. Эпсилон-энтропия гауссовского источника без памяти

Прежде чем переходить к рассмотрению прямых теорем кодирования, мы найдем эпсилон-энтропию одного из наиболее простых источников — непрерывного источника, на выходе которого появляются независимые гауссовские случайные величины. Как было показано в § 5.2, эпсилон-энтропия такого источника определяется только одномерными распределениями вероятностей. Поэтому можно говорить об эпсилон-энтропии гауссовской случайной величины.

Пусть непрерывный ансамбль, где гауссовская ф. п. в.

Таким образом, рассматриваемая с. в. имеет нулевое среднее и дисперсию

Рассмотрим квадратический критерий качества

определенный для всех принимающих значения на числовой оси. Эпсилон-энтропия рассматриваемого источника (эпсилон-энтропия с. в. X), согласно теореме 5.2.1, определяется формулой

где аппроксимирующая с. в., задаваемая и множество по которому разыскивается минимум, состоит из всех таких, что среднеквадратическая ошибка не превосходит

Таким образом, для всякой ф. п. в. из

Среднюю взаимную информацию можно представить как разность относительных энтропий, поэтому

где второе равенство есть следствие того, что относительная энтропия ансамбля определяется только функцией

(см. § 2.3) и не зависит от выбора функции

Таким образом, задача определения эпсилон-энтропии свелась к нахождению максимума в формуле (5.4.5) и доказательству того, что этот максимум достигается на некоторой функции из Для отыскания максимума введем в рассмотрение с. в. определив ее с помощью равенства

Равенство (5.4.7) означает, что значения х и у с. в. однозначно определяют значение Верно также то, что при заданном значении случайные величины однозначно определяют друг друга. Отсюда вытекает, что при фиксированном у две с. в. отличаются только математическим ожиданием и, следовательно, имеют одинаковый относительные энтропии:

Усредняя обе части (5.4.8) по получим, что

Если теперь воспользоваться этим равенством и тем, что

то из (5.4.5) последует неравенство

Максимум в правой части (5.4.11) нетрудно найти, если заметить, что для любой функции из

Так как для любой с. в. с ограниченным средним квадратом относительная энтропия не превосходит где ограничивающее значение для среднего квадрата (см. § 2.3), то

причем равенство достигается в том случае, когда есть гауссовская с. в. с нулевым средним и дисперсией, равной Используя (5.4.6), (5.4.11) и (5.4.13), получим

Вопрос, который теперь остался открытым, состоит в том, можно ли подобрать функцию такую, чтобы неравенство (5.4.14) выполнялось со знаком равенства. Тогда правая часть этого выражения и была бы эпсилон-энтропией.

Чтобы в (5.4.14) имело место равенство, необходимо достичь равенства в неравенствах (5.4.10) и (5.4.13). Первое возможно только, когда с. в. статистически независимы, второе возможно, когда гауссовская с. в. с нулевым средним и дисперсией Покажем, что при оба эти требования можно удовлетворить соответствующим выбором

Вначале заметим, что сумма двух гауссовских с. в. есть снова гауссовская с. в. Поэтому любую гауссовскую с. в. можно представить в виде суммы двух независимых гауссовских с. в.:

Если с. в. X имеет дисперсию то с. в. можно выбрать так, чтобы они были гауссовскими, независимыми и имели дисперсии соответственно, причем Очевидно, что при таком выборе с. в. имеет место равенство т. е. ф. п. в. , задающая вместе с ф. п. в. f (х) распределение вероятностей на парах принадлежит множеству Таким образом, в неравенстве (5.4.14) достигается равенство для некоторой функции Эту функцию можно выписать в явном виде, используя независимость с. в. Обозначим через для с. в соответственно. В силу независимости с. в. имеет место равенство Тогда ф. п. в., на которой достигается равенство в (5.4.14), имеет следующий вид:

Если то приведенные рассуждения не справедливы и эпсилон-энтропия должна вычисляться иначе. Однако в этом случае задача оказывается еще более простой, поскольку при таких значениях среднеквадратической ошибки существует универсальный аппроксимирующий элемент, а именно Очевидно, что при использовании такого элемента

что меньше, чем для указанного выше диапазона ошибок. Поэтому

при всех

Соотношения (5.4.14) и (5.4.17) можно объединить с помощью следующей формулы:

которая и представляет собой выражение для эпсилон-энтропии гауссовской случайной величины или для эпсилон-энтропии непрерывного гауссовского источника без памяти.