12. Непрерывные источники информации

Если источник производит непрерывную функцию времени, то, если нет оговорок, ему можно приписать бесконечную скорость создания информации. Действительно, для того чтобы охарактеризовать точно величину с непрерывным изменением, требуется бесконечное число двоичных цифр. Невозможно передавать точно непрерывную информацию по каналу с конечной пропускной способностью.

К счастью, нам не нужно передавать непрерывные сообщения в точности. Некоторое расхождение между исходным и восстановленным сообщениями всегда допускается. Если принят известный допуск, то непрерывному источнику может быть приписана определенная конечная скорость в битах/сек. Следует помнить, что эта скорость зависит от природы и величины допускаемой погрешности. Скорость может быть описана как скорость создания информации по отношению к критерию точности.

Положим, что критерий точности есть среднеквадратичное расхождение между исходным и восстановленным сигналами и что можно допустить его значение равным Тогда каждая точка в пространстве сообщений окружена малой сферой радиуса Если система такова, что восстановленное сообщение лежит в пределах этой сферы, то передача удовлетворительна. Таким образом, число различимых сообщений, которые должны допускать раздельную передачу, будет порядка отношения объема области возможных сообщений к объему малых сфер. Проведя

это рассуждение детально аналогично тому, как это делалось в разделах 6 и 9, приходим к следующему.

Теорема 5. Если источник сообщения имеет мощность энтропийную мощность и ширину полосы то скорость создания информации (в битах/сек) лежит в пределах

где есть наибольший допустимый средний квадрат ошибки воспроизведения. Если имеется канал с пропускной способностью и источник, создающий информацию со скоростью меньшей или равной С, то возможно закодировать источник так, чтобы вести по данному каналу передачу с точностью, определяемой А. Если то это невозможно.

В случае когда источник сообщения производит белый тепловой шум, При этом оба предела равны Возможно, следовательно, передавать белый тепловой шум мощностью и с полосой по каналу с полосой при наличии помехи в виде белого шума мощностью и восстановить исходное сообщение с ошибкой, средний квадрат которой равен тогда и только тогда, когда

Приложение

Рассмотрим возможные последовательности из символов. Расположим их в порядке убывания вероятности Пусть

Тогда сообщение кодируется разложением как двоичной дроби с сохранением только первых членов, где определяется соотношением

Наиболее вероятные последовательности имеют короткие коды, маловероятные — длинные коды. Имеем

Коды для различных последовательностей будут все различны. отличается, например, от на и поэтому его двоичное разложение будет отличаться не менее чем одним из числа первых членов; аналогичное утверждение справедливо для всех других Средняя длина кодированного сообщения будет Пользуясь неравенством (46), найдем

или

Среднее число двоичных цифр на символ сообщения есть и

При так что среднее число двоичных единиц приближается к Н.