ГЛАВА ШЕСТАЯ. ТЕОРИЯ ПЕРЕДАЧИ НЕПРЕРЫВНЫХ СООБЩЕНИЙ

6.1. ИСТОЧНИК НЕПРЕРЫВНЫХ СООБЩЕНИИ И ЕГО ПРОИЗВОДИТЕЛЬНОСТЬ. ВЕРНОСТЬ ПЕРЕДАЧИ НЕПРЕРЫВНЫХ СООБЩЕНИЙ

Источник непрерывных сообщений характеризуется тем, что за некоторое конечное время он может выдать любую из бесконечного множества реализаций сообщения (сигнала). Ансамбль реализаций непрерывного источника бесконечен, а

вероятность появления отдельной реализации равна нулю. Если попытаться определить энтропию и производительность такого источника путем предельного перехода, как это было сделано и § 2.10 для непрерывных сигналов, то они окажутся бесконечными. Однако это не означает, что информация, интересующая получателя и подлежащая передаче по каналу, также бесконечна.

Совершенно ясно, что реальные каналы связи, а также любые устройства регистрации (в том числе и органы восприятия человека) не могут абсолютно точно передавать и регистрировать непрерывные сообщения. Практически это и не нужно, так как получатель не различает «близкие» сообщения, приводящие к одинаковым последствиям. Меру «близости» непрерывных сообщений, к сожалению, нелегко установить, ибо она в значительной степени зависит от характера сообщений и от того, как оно используется получателем.

Введем понятие об эквивалентности реализаций сообщения. Две реализации, называются эквивалентными, если различие между ними несущественно в смысле определенного критерия. Так, в системе телефонной связи, если необходимо передать лишь содержание речи, то один и тот же текст, разборчиво прочитанный двумя различными дикторами (например, мужчиной и женщиной), представляет собой эквивалентные сообщения, смотря на то, что они резко различны даже по спектру. Критерием эквивалентности сообщений здесь является разборчивость речи. При художественных вещательных передачах такой критерий не является приемлемым, ибо в этих случаях существенны и более тонкие характеристики сообщения.

В дальнейшем удобнее будет оперировать не с передаваемым непрерывным сообщением а с первичным сигналом и его реализациями Дело в том, что непрерывное сообщение А может и не быть функцией времени либо быть функцией нескольких аргументов (например, при телевизионном вещании). Первичный сигнал в современных системах связи всегда является функцией времени. В тех случаях, когда и сообщение является функцией времени (например, при телефонной связи), первичный сигнал точно повторяет функцию и отличается от сообщения только физической природой [например, звуковое давление, ток]. Поскольку всегда преобразование сообщения в первичный сигнал обратимо, точность воспроизведения предопределяет и точность воспроизведения Поэтому в дальнейшем под сообщением будем понимать первичный сигнал который в большинстве случаев представляет собой центрированный случайный процесс. Его дисперсию мощность] будем считать заданной.

Обеспечение необходимой верности передачи является обязательным требованием к любой системе связи. При передаче Дискретных сообщений верность передачи определяется вероятностью правильного приема (или вероятностью ошибкл). Такое определение верности можно распространить и на непрерывные

сообщения, если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будем понимать вероятность того, что принятое сообщение эквивалентно переданному Чтобы пользоваться таким определением верности, нужно, прежде всего, установить критерий эквивалентности. В ряде случаев этот критерий устанавливается сравнительно легко на основании требований, предъявляемых к степени точности передачи сообщений. Так, например, обстоит дело в телеметрии.

В телефонии верность передачи речевого сообщения оценивается вероятностью того, что получатель правильно поймет смысл переданного и, кроме того, узнает по голосу, кто передает сообщение. Иначе говоря, два сообщения считаются эквивалентными, если они сохраняют смысл и естественность звучания речи. Такой критерий трудно выразить аналитически, хотя практически эквивалентность реализаций устанавливается несложно. Поэтому и верность передачи чаще определяют экспериментально путем артикуляционных испытаний. Верность передачи речевых сообщений принята выражать разборчивостью фраз, т. е. процентом правильно принимаемых фраз из числа переданных. Кроме разборчивости фраз нашла применение разборчивость слов и слогов. Очевидно, критерии разборчивости слов и слогов более строгие, чем критерий разборчивости фраз.

В некоторых случаях удобно характеризовать эквивалентность сообщений по максимальной величине абсолютного значения разности

за время длительности сообщения Принятая реализация считается эквивалентной переданной если указанная разность меньше некоторой заданной величины Такой критерий эквивалентности является при некоторых условиях наиболее строгим и поэтому широко используется в телеметрии, где требуется особая точность восстановления переданной функции.

Наиболее универсальным методом определения эквивалентности служит критерий среднего квадрата разности между принятым и переданным сообщениями. При этом мощность передаваемого сообщения считается заданной. Рассмотрим процесс

представляющий разность между принятым и переданным случайными сообщениями. Его можно назвать шумом воспроизведения. В дальнейшем примем, что т. е. регулярная (систематическая) погрешность отсутствует. Сообщения будем называть эквивалентными, если среднеквадратическое отклонение не превышает заданной величины

Взаимная информация между двумя не тождественно равными непрерывными сообщениями (сигналами) в общем случае конечна. Будем рассматривать передаваемое сообщение и множество эквивалентных ему сообщений

Очевидно, количество информации зависит не только от статистики процесса определяющей дифференциальную

энтропию но и от критерия эквивалентности, определяющего условную плотность вероятностей а следовательно, и условную энтропию Минимальное количество информации, содержащееся в сообщении относительно при котором они еще эквивалентны называется эпсилон-энтропией. Согласно (2.150)

где минимум берется по всем условным распределениям для которых Эпсилон-энтропия определяет количество существенной информации в одном отсчете непрерывного сообщения.

Рассмотрим наиболее простой случай, когда источник непрерывного сообщения (сигнала) гауссовский, т. е. когда сообщение представляет собой стационарный гауссовский процесс с заданной мощностью а критерием эквивалентности является критерий (6.3). Поскольку то условная дифференциальная энтропия при заданном сообщении полностью определяется шумом воспроизведения Поэтому Если шум воспроизведения имеет фиксированную дисперсию то дифференциальная энтропия имеет максимум при нормальном распределении, равный (2.152)

При заданной дисперсии сообщения дифференциальная энтропия гауссова источника максимальна и равна Следовательно, эпсилон-энтропия гауссова непрерывного источника на один отсчет

Величина характеризует минимальное отношение сигнал/шум, при котором сообщения еще эквивалентны. Обозначим это отношение Его значение зависит от характера передаваемых сообщений. Если отдельные отсчеты сообщения независимы, то содержащаяся в них информация складывается.

Производительность источника непрерывных сообщений можно определить как количество информации, выдаваемое источником в одну секунду при заданном критерии эквивалентности. Если источник выдает независимые отсчеты сообщения (сигнала) дискретно во времени скоростью то его эпсилон-производительность

Эпсилон-производительность называют также скоростью создания информации при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой

согласно теореме Котельникова, шаг дискретизации необходимое число отсчетов в секунду равно Если спектр сообщения в полосе равномерен, то эти отсчеты некоррелированны (см. пример 4 в § 2.2), а для гауссовского источника и независимы. В этом случае

Подставив сюда (6.6), получим для гауссовского источника с равномерным спектром в полосе

Из предыдущих рассуждений ясно, что производительность гауссовского источника квазибелого шума (6.9) больше производительности любого другого источника с той же мощностью и той же шириной спектра при том же допустимом шуме воспроизведения Количество информации, выдаваемое гауссовским источником за время

Выражение (6.10) совпадает с характеристикой (1.1), названной в § 1.1 объемом сигнала, если Это означает, что объем сигнала равен максимальному количеству информации, которая содержится в сигнале длительностью

Избыточность источника непрерывных сообщений без памяти определяется соотношением

Необходимо подчеркнуть, что шум воспроизведения, в сущности, не является аддитивной помехой. Он не всегда обусловлен шумом в канале, а является результатом различных случайных или регулярных искажений сигнала; иногда он возникает в процессе самой модуляции (см. гл. 8) и в общем случае является просто погрешностью при воспроизведении сообщения.

В соответствии с квадратичным критерием эквивалентности под верностью понимают вероятность того, что сообщение будет принято при отношении мощности сигнала к мощности шума на выходе приемника не меньше заданной величины Среднеквадратический критерий эквивалентности отвечает практическим запросам в большинстве случаев передачи непрерывных сообщений. Он менее строг, чем критерий максимального абсолютного отклонения, но более строг, чем большинство практических критериев, таких, как артикуляционные. Этот критерий удобен и при теоретических исследованиях.

Для непрерывного канала с пропускной способностью С, на вход которого подключен источник, обладающий производительностью К. Шеннон доказал следующую теорему.

Если при заданном критерии эквивалентности сообщений источника его эпсилон-производительность меньше пропускной способности канала то существует способ кодирования и декодированияпри котором неточность воспроизведения сколь угодно близка к При такого способа не существует.

Справедливость этой теоремы вытекает из возможности дискретизации непрерывных сообщений, поскольку для дискретных сообщений аналогичная теорема доказана (см. § 3.7).

Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом. Оптимальное кодирование непрерывных сообщений (без дискретизации) в непрерывном канале пока не находит приемлемой реализации, хотя имеются определенные успехи в построении устройств, позволяющих существенно сократить избыточность некоторых непрерывных источников. В простейшем случае, когда канал имеет полосу прбпускания, охватывающую практически весь спектр сообщения, а уровень аддитивных помех достаточно низок, используется непосредственная передача первичного сигнала без модуляции. Сигнал в канале при этом совпадает с Примером системы связи с непосредственной передачей является телефонная связь в пределах действия одной Если на выходе канала мощность сигнала равна а мощность помех то при воспроизводимое сообщение будет эквивалентно переданному.

В общем же случае, как следует из теоремы Шеннона, условие вовсе не обязательно для восстановления сообщения с заданной точностью. Для этого нужно только, чтобы пропускная способность канала древышала эпсилон-производительность источника. При этом условии можно преобразовать сообщение в сигнал так, чтобы отношение мощности восстановленного сообщения к мощности шума воспроизведения (на выходе приемника) было больше хотя в канале (т. е. на входе приемника) отношение мощности сигнала к мощности шума меньше (иногда во много раз), чем Это достигается применением помехоустойчивых видов модуляции, о которых речь будет ндти в § 6.3 и далее.