5.4. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ НЕПРЕРЫВНЫХ СООБЩЕНИЙ

Основные информационные характеристики источников непрерывных сообщений следующие: энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объем информации.

Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы (1.8) для энтропии дискретного источника. Если одномерная плотность (распределения случайного стационарного процесса равна то вероятность того, что будет находиться в интервале равна Если всего интервалов квантования то энтропия источника непрерывных сообщений

В результате предельного перехода при получим

Первую составляющую

называют дифференциальной энтропией источника непрерывных сообщений. Вторая составляющая и показывает

что энтропия источника непрерывных сообщений стремится к бесконечности.

Скорость передачи информации, пропускную способность и другие основные информационные характеристики источников определяют через разность энтропий. Поэтому вторая составляющая в этих операциях сокращается и величиной можно характеризовать информационные свойства источников непрерывных сообщений. В отличие от энтропии источников дискретных сообщений может принимать положительные, отрицательные и нулевые значения. Величина изменяется при «изменении масштаба измерения Определим свойства дифференциальной энтропии для конкретных распределений.

5.4.1. Энтропия равномерного распределения. Для равномерного распределения по формуле (5.55) получим

С увеличением интервала значение также увеличивается. При отсутствии ограничений на значение дисперсии равномерное распределение обладает максимальной энтропией среди всех других распределений.

5.4.2. Энтропия нормального распределения. Определим плотность распределения центрированной случайной величины, обеспечивающую максимум при условии выполнения нормировки и ограниченности дисперсии процесса.

Необходимо решить вариационную задачу в следующей постановке: заданы целевой функционал и ограничения Необходимо найти такую которая доставляет максимум

Решение этой задачи известно искомая плотность распределения является гауссовской

а максимальная энтропия

Следовательно, среди всех источников с ограниченной и одинаковой мощностью непрерывных сигналов наибольшей энтропией обладает источник с гауссовскими сигналами; максимальную энтропию полностью определяет мощность сигнала; от среднего значения сигнала энтропия не зависит.

5.4.3. Энтропию гауссовского белого шума определим как энтропию -мерного гауссовского распределения с независимыми отсчетами, тогда

Следовательно, энтропия гауссовского белого шума в раз болы энтропии одного отсчета и является максимальной для непрерывных сигналов ограниченной мощности.

Из анализа (5.57) можно сделать следующие выводы: гауссовский белый шум, обладая наибольшей энтропией, является наиболее вредной помехой, так как переносит максимально возможное количество вредной информации при заданной средней мощности; наихудшие («пессимистические») оценки качества связи получаются, если в роли помех использовать белый шум; если в роли сигналов-переносчиков использовать гауссовские сигналы, по свойствам близкие к белому шуму, можно при одной и той же средней мощности передать максимальное количество информации. Иначе говоря, применение шумоподобных сигналов-переносчиков дает возможность передать максимум информации при заданной мощности или уменьшить мощность сигналов при передаче заданного количества информации. Из этих выводов понятно, почему белый шум широко используют как модель сигналов-переносчиков и помех.

5.4.4. Эпсилон-энтропия источников. Реальная чувствительность приемных устройств, органов чувств человека и разрешающая способность различных информационно-измерительных систем ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точно не требуется. Наличие помех и искажений сигналов в реальных каналах делает точное воспроизведение сообщений невозможным. Поэтому вводят понятие эпсилон-энтропии. Эпсилон-эвтропия — это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса которое необходимо для воспроизведения этого сигнала с заданной среднеквадратической погрешностью

Рассмотрим подробнее сущность этого понятия. Предположим, что передавался сигнал а был принят сигнал Пусть в канале действует аддитивная помеха тогда Условно примем, что Используем метрику гильбертова пространства (см. § 2.10), тогда расстояние между сигналами определяется величиной

где длительность сигналов. Если то сигналы называют -близкими.

Используем ортогональное разложение Котельникова (см. § 2.2) и выполним дискретизацию сигналов. Тогда вместо непрерывных сигналов будем рассматривать отсчеты Введем следующие обозначения: -мерная плотность распределения -мерная плотность распределения условная плотность распределения X при условии, что был принят условная плотность распределения при условии, что был передан

Количество информации, которое содержит принятый сигнал относительно переданного сигнала X, определяется, как и ранее (см. п. 5.2.2):

Величина (5.59) является аналогом величины при передаче дискретных сигналов.

Среднее количество принятой информации

где интегралы являются -мерными; совместная плотность распределения

Используя (5.61), получаем

Соотношения (5.62), (5.63) аналогичны соотношениям (5.24), (5.25) для случая передачи дискретных сигналов. Энтропия X (5.55)

условная энтропия

Условная энтропия источников непрерывных сигналов обладает теми же свойствами, что и условная энтропия источника дискретных сигналов:

где совместная энтропия Только в том случае, когда сигналы независимы, условная энтропия равна безусловной, а совместная энтропия сигналов равна сумме энтропий.

Как и для дискретных источников, среднее количество принятой информации можно определить двумя способами: как разность среднего количества переданной информации и информации потерянной в непрерывном канале из-за помех (5.62), и как разность между средним количеством принятой информации и энтропией помехи в канале (5.63). Заметим, что слагаемые вида

при определении сокращаются и на результат влияния не оказывают.

Эпсилон-энтропия — это то минимальное среднее количество информации которое позволяет считать «похожими» в среднеквадратическом смысле:

Так как то условная энтропия при принятом полностью определяется «шумом» воспроизведения Поэтому

где - закон распределения помехи

Учтем, что мощность помехи ограничена величиной тогда максимальная энтропия помехи, отнесенная к одному отсчету, определяется по формуле (5.56)

где через обозначено среднеквадратическое значение помехи. С учетом (5.69)

Элсилон-энтропия имеет максимальное значение, когда процесс также является гауссовским:

Отношение сигнал/шум характеризует то количество полученной информации, при котором принятый сигнал и переданный сигнал «похожи» в среднеквадратическом смысле с точностью до . В формуле (5.71) значение эпсилон-энтропии определено для одного независимого отсчета.

5.4.5. Эпсилон-производительность источника. Если источник выдает независимые отсчеты сигнала дискретные моменты времени со скоростью где интервал дискретизации полоса частот сигнала то эпсилон-производительность источника

Если время непрерывное, то

Максимальное значение эпсилон-производительность источника имеет, когда сигнал является гауссовским (см. (5.71)),

За время существования сигнала максимальный объем V информации, выданной источником,

Поэтому объем сигнала является одновременно экстремальной информационной характеристикой сигнала. Объем сигнала — это максимальное количество информации, которое сигнал может переносить.

5.4.6. Избыточность источника непрерывных сигналов определяют так же, как и для источника дискретных сигналов:

Избыточность источника равна нулю только в случае, когда распределение сигнала является гауссовским.

При определении эпсилон-характеристик источников непрерывных сигналов в качестве меры близости двух сигналов было выбрано расстояние между ними в гильбертовом пространстве. Критерием близости служило среднеквадратическое отклонение одного сигнала от другого. Если выбрать другую меру близости сигналов — другую метрику пространства сигналов, можно получить другие эпсилон-характеристики источников. Наибольшее распространение получил среднеквадратический критерий близости сигналов.

Контрольные вопросы

(см. скан)