6.3.2. КОЛИЧЕСТВО ИНФОРМАЦИИ, ПЕРЕДАВАЕМОЙ ПО НЕПРЕРЫВНОМУ КАНАЛУ СВЯЗИ, РАСЧЁТ ЕГО ПРОПУСКНОЙ СПОСОБНОСТИ

Взаимная информация пары отсчётов для аддитивной гауссовском помехи.

Рассмотрим сначала канал связи с сигналами, имеющими дискретное время и непрерывную амплитуду на входе и выходе. Предположим, что каждый такой "импульс" передаётся независимо от всех других, т.е. в канале отсутствует память и задана условная плотность вероятности где - пространства допустимых значений амплитуд соответственно выходных и входных сигналов. Пусть известна также плотность вероятности входных амплитуд. Тогда такой непрерывный канал можно преобразовать к дискретному, производя квантование множеств с интервалами соответственно. В этом случае входное распределение вероятностей будет иметь вид

а условные вероятности переходов входных символов в выходные

Совместная вероятность появления входных и выходных символов в таком дискретизированном канале будет равна

Для расчёта количества информации передаваемого по такому каналу, воспользуемся полученным ранее выражением (6.25), которое преобразуем следующим образом:

причём суммирование в (6.67) распространяется на все Устремив в (6.67) к нулю, перейдём от дискретного по амплитуде канала к каналу с непрерывной амплитудой. Тогда количество информации, передаваемое по такому каналу, будет

Для количества информации передаваемого по такому каналу с непрерывной амплитудой, будут справедливы следующие свойства:

1. , причём тогда, и только тогда, когда вход и выход канала статистически независимы, т.е. (Это свойство следует из (6.68) и свойств 2 и 3 количества информации для дискретного канала.)

2. , что позволяет назвать взаимной информацией пары случайных величин. (Вытекает из (6.68).)

3. , если помехи в канале отсутствуют, т.е. когда

Действительно, при отсутствии помех где энтропия источника, полученного после квантования входных сигналов с интервалом т. е.

Устремляя к нулю, получаем, что первый член в правой части (6.69) стремится к конечной величине

а второй всегда стремится к бесконечности независимо от вида плотности распределения вероятностей входного сигнала. Наглядный смысл этого свойства состоит в том, что канал связи, позволяющий сколь угодно точно передавать бесконечное множество значений амплитуды, передаёт бесконечное количество информации. (Действительно, как бы ни было велико значение энтропии некоторого дискретного источника сообщений, эти сообщения всегда можно закодировать непрерывным сигналом в виде одного импульса и

абсолютно точно передать по непрерывному каналу связи, если в нем полностью отсутствуют помехи.)

Величина определяемая (6.70), называется дифференциальной энтропией. Она совпадает с первым слагаемым в (6.68). Второе слагаемое называется условной дифференциальной энтропией и обозначается Поэтому количество информации, передаваемое по непрерывному каналу, равно разности этих дифференциальных энтропий:

причём последнее равенство в (6.71) следует из свойства 2 количества информации, где дифференциальная энтропия выхода канала и дифференциальная условная энтропия выхода при известном входе соответственно.

Рассмотрим частный случай непрерывного по амплитуде канала с дискретным временем — канала с аддитивным непрерывным шумом, для которого

где реализация случайной величины реализация случайной величины которая не зависит от Используя (6.71), легко показать, что для рассматриваемого канала

где дифференциальная энтропия аддитивной помехи. Найдём дифференциальную энтропию гауссовского аддитивного шума с нулевым средним и дисперсией

Дифференциальная энтропия произвольной случайной величины с заданной дисперсией не может превосходить дифференциальной энтропии гауссовской случайной величины с той же дисперсией, т.е.

Для доказательства рассмотрим интеграл

Следовательно,

Используем неравенство причём точное равенство будет достигаться только при Отсюда, переходя к двоичным логарифмам, получаем

Поэтому

причём равенство имеет место, если только

Подставляя (6.77) в (6.76), получаем

откуда и следует (6.75).

Ранее уже отмечалось, что на пространство допустимых входных сигналов должны быть наложены некоторые ограничения. Рассмотрим наиболее важный частный случай, когда ограничена средняя мощность (дисперсия) сигнала Тогда для каналов без памяти с дискретным временем это ограничение требует использования только таких входных плотностей вероятностей для которых выполнено условие

где

Будем называть пропускной способностью С такого канала максимальное значение количества информации по всем плотностям вероятности удовлетворяющим (6.78), т.е.

где множество плотностей вероятности, удовлетворяющих (6.78). Рассчитаем пропускную способность для канала с дискретным временем и с аддитивным БГШ мощности Используя (6.73) и (6.74), получаем

Для данного канала дисперсия выхода равна сумме дисперсий входа и аддитивного шума, т.е.

Поэтому согласно доказанному выше свойству получаем, что дифференциальная энтропия выхода будет максимальна для гауссовского распределения а следовательно, и для гауссовского распределения и она равна правой части (6.75), если заменить на Подставляя это значение в (6.80), находим, что

Выражение (6.81) даёт значение пропускной способности канала, имеющее при двоичном логарифме размерность бит/отсчёт (импульс). Если скорость выдачи отсчётов (импульсов) в секунду равна то пропускная способность в единицу времени будет определяться соотношением

Полученное выражение позволяет легко перейти к пропускной способности непрерывного канала с непрерывным временем, у которого входные сигналы имеют ограниченную полосу частот и ограниченную среднюю мощность Кроме того, будем предполагать, что помехой в нём является квазибелый шум со спектральной плотностью в полосе частот т.е. гауссовский шум с равномерным спектром и средней мощностью Поскольку полезные сигналы ограничены полосой частот то на выходе такого канала связи можно поставить идеальный фильтр, пропускающий только частоты в этой полосе, не потеряв при этом никакой информации. По теореме отсчётов (Котельникова) сигналы на входе и выходе такого канала будут полностью определяться отсчётными значениями в точках где Следовательно, вся информация, передаваемая по такому каналу, будет содержаться в этих отсчётных значениях. Поскольку энергетический спектр помехи на выходе равномерен в полосе частот то отсчёты помехи оказываются статистически независимыми и задача сводится к расчёту пропускной способности непрерывного канала без памяти с дискретным временем. Используя полученное для этого соотношение (6.82) при находим

Соотношение (6.83) известно как формула Шеннона для пропускной способности непрерывного гауссовского канала с ограниченной полосой частот и ограниченной средней мощностью сигнала.

Проведём анализ формулы Шеннона (6.83). Если возрастает, то, как видно из этого соотношения, С будет также возрастать, но её рост оказывается весьма медленным, так как он подчиняется логарифмическому закону. Поэтому если, например, при полосе частот 100 Гц и отношении пропускная способность а её нужно увеличить примерно в два раза при сохранении прежней полосы частот 100 Гц, то этого можно достигнуть, лишь увеличив отношение сигнал/шум до

Рассмотрим теперь зависимость пропускной способности канала С от полосы частот при фиксированных значениях График зависимости нормированной пропускной способности от показан на рис. как следует из (6.83) - это монотонно возрастающая функция, которая при асимптотически приближается к величине

Рис. 6.5. Зависимость нормированной пропускной способности непрерывного канала с БГШ от полосы пропускания

которая может быть названа пропускной способностью непрерывного канала связи с неограниченной полосой частот при аддитивной помехе в виде БГШ. Таким образом, хотя с ростом полосы пропускания возможности непрерывного канала по передаче информации увеличиваются, однако в полосе пропускания не заключены неограниченные возможности увеличения С. (Уже при выборе полосы реализуется примерно от (см. рис. 6.5).)

Хотя определение понятия пропускной способности для непрерывного канала связи и позволяет судить о его возможностях по передаче информации, но для того, чтобы определить эти возможности в более конкретных терминах верности и скорости передачи, необходимо сформулировать теоремы кодирования Шеннона для непрерывного канала связи. Однако перед этим определим ещё одно понятие.

e-энтропия непрерывного источника.

Иногда в ТЭС вводится мера информативности (непредсказуемости) непрерывного источника называемая -энтропией. Эпсилон-энтропия определяется как минимальное количество информации, содержащейся в относительно сигнала при котором эквивалентны. Эквивалентность принимается как близость в среднеквадратическом смысле:

Итак, по определению

где минимум берется по всем условным распределениям для которых Так как то условная дифференциальная энтропия при заданном сигнале полностью определяется шумом воспроизведения Если шум воспроизведения имеет фиксированную дисперсию то дифференциальная энтропия максимальна, как было показано выше, при гауссовском распределении и равна

Если источник является гауссовским, то при заданной дисперсии его дифференциальная энтропия Таким образом, в рассматриваемом случае

Величина характеризует минимальное отношение сигнал-шум, при котором сигнал и процесс ещё эквивалентны ("похожи"). Обозначим это отношение тогда Можно ввести понятие -производительность непрерывного источника

где число отсчётов в единицу времени. Для -производительности непрерывного гауссовского источника непрерывного времени без памяти

где полоса частот сигнала, в пределах которой СПМ процесса считается равномерной.