Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 5.4. Эпсилон-энтропия гауссовского источника без памятиПрежде чем переходить к рассмотрению прямых теорем кодирования, мы найдем эпсилон-энтропию одного из наиболее простых источников — непрерывного источника, на выходе которого появляются независимые гауссовские случайные величины. Как было показано в § 5.2, эпсилон-энтропия такого источника определяется только одномерными распределениями вероятностей. Поэтому можно говорить об эпсилон-энтропии гауссовской случайной величины. Пусть
Таким образом, рассматриваемая с. в. имеет нулевое среднее и дисперсию Рассмотрим квадратический критерий качества
определенный для всех
где Таким образом, для всякой ф. п. в.
Среднюю взаимную информацию
где второе равенство есть следствие того, что относительная энтропия
(см. § 2.3) и не зависит от выбора функции Таким образом, задача определения эпсилон-энтропии свелась к нахождению максимума в формуле (5.4.5) и доказательству того, что этот максимум достигается на некоторой функции из
Равенство (5.4.7) означает, что значения х и у с. в.
Усредняя обе части (5.4.8) по
Если теперь воспользоваться этим равенством и тем, что
то из (5.4.5) последует неравенство
Максимум
Так как для любой с. в. с ограниченным средним квадратом относительная энтропия не превосходит
причем равенство достигается в том случае, когда
Вопрос, который теперь остался открытым, состоит в том, можно ли подобрать функцию Чтобы в (5.4.14) имело место равенство, необходимо достичь равенства в неравенствах (5.4.10) и (5.4.13). Первое возможно только, когда с. в. Вначале заметим, что сумма двух гауссовских с. в. есть снова гауссовская с. в. Поэтому любую гауссовскую с. в. можно представить в виде суммы двух независимых гауссовских с. в.: Если с. в. X имеет дисперсию
Если
что меньше, чем
при всех Соотношения (5.4.14) и (5.4.17) можно объединить с помощью следующей формулы:
которая и представляет собой выражение для эпсилон-энтропии гауссовской случайной величины или для эпсилон-энтропии непрерывного гауссовского источника без памяти.
|
1 |
Оглавление
|