8.5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ

Источник непрерывных сообщений характеризуется тем, что за некоторое конечное время он может выдать любую из бесконечного множества реализацию сообщения (первичного сигнала). Сообщение при таком подходе представляют в виде случайного процесса, который определяют как ансамбль случайных функций где дискретный или непрерывный параметр. Ансамбль реализаций непрерывного источника бесконечен, а вероятность появления отдельных реализаций равна кулю. Если попытаться определить энтропию такого источника путем предельного перехода, то она окажется бесконечной. Однако это не означает,

что информация, интересующая получателя и подлежащая передаче по каналу, также бесконечна. Ниже мы на этом остановимся подробнее.

В общем случае моделью непрерывного сообщения (первичного сигнала) является нестационарная случайная функция отличная от нуля на конечном интервале т. е. финитная случайная функция. Такая модель хорошо отражает реальные сообщения, но она сложна для математического анализа в силу нестационарности. Более удобна модель в виде стационарной случайной функции, определяемой на всей оси Такая модель отражает важнейшее свойство реальных сообщений — их непредсказуемость с нулевой ошибкой. Из условия непредсказуемости следует, что спектральная плотность таких сообщений не может быть ограничена, т. е. она не равна нулю на оси частот. Стационарная случайная функция может быть представлена рядом

где некоррелированные случайные величины; орты (базисные функции), определяемые из интегрального уравнения, зависящего от функции корреляции процесса [10]. В силу трудностей определения и сложности их вида, а следовательно, и сложности их реализации модель (8,29) до сих пор не получила применения на практике. Более широкое применение нашла модель в виде функции, ограниченной по спектру. Согласно теореме Котельникова такую функцию можно представить в виде ряда по ортогональным функциям [45]:

где

Длительность реальных сигналов всегда ограничена некоторым интервалом Для таких сигналов ряд (8.30) переходит в сумму

где число отсчетов.

Функции с ограниченным спектром относятся к классу целых аналитических функций. Аналитичность функции обусловливает возможность их экстраполяции с нулевой ошибкой (их предсказуемость). Следовательно, такая модель сообщения в виде ансамбля (8.31) не отражает основное свойство сообщения нести информацию. Однако эта модель нашла широкое распространение в теории связи в силу своей простоты.

Многие реальные сообщения достаточно хорошо аппроксимируются моделью гауссовского процесса. Так, речевой сигнал можно

представить в виде стационарного нормального процесса с корреляционной функцией

где

Сигналы черно-белого изображения для различного типа сюжетов также хорошо описываются стационарным нормальным случайным процессом с корреляционными функциями

где пространственные координаты изображения. Гауссовская модель достаточно хорошо аппроксимирует и многие телеметрические сообщения. Помимо допущения о нормальности, процессы с корреляционными функциями (8.32) и (8.33) можно считать марковскими. Таким образом, в качестве модели непрерывного сообщения молено принять стационарный гаусеовский марковский процесс, который адекватен широкому классу реальных сообщений.

Предположим, что выходом источника является первичный сигнал который представляет собой реализацию случайного процесса с шириной полосы частот Гц. Такой процесс согласно (8.30) можно представить последовательностью отсчетов, взятых с частотой Такой процесс невозможно закодировать в последовательность кодовых символов так, чтобы по этой последовательности можно было точно его восстановить на выходе декодера. В таких случаях можно только потребовать, чтобы восстановленное сообщение аппроксимировало исходное сообщение с заданным критерием верности. В качестве такого «критерия часто принимают средний квадрат ошибки

Тогда можно определить эпсилон-энтропию источника как

которая определяет минимальное количество двоичных символов (бит) для представления одного отсчета первичного сигнала (сообщения) с ошибкой, не превышающей заданное значение При определенных математических ограничениях теорема 2 остается справедливой и для источника непрерывных сообщений. В этом случае

где — дифференциальная энтропия источника; плотность распределения первичного сигнала (сообщения);

— условная дифференциальная энтропия.

Тогда

Рассмотрим гауссовский источник, для которого сообщения на выходе представляют собой стационарный гауссовский процесс с заданной дисперсией (мощностью) и одномерным распределением

Поскольку то условная дифференциальная энтропия при заданном сообщении полностью определяется величиной ошибки которую можно рассматривать как шум воспроизведения. Поэтому

Если шум воспроизведения имеет фиксированную дисперсию то дифференциальная энтропия имеет максимум при нормальном распределении:

При данной дисперсии первичного сигнала дифференциальная энтропия гауссовского источника максимальна. Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчет

Если отдельные отсчеты сообщения независимы, то содержащаяся в них информация складывается. Пусть источник выдает независимые отсчеты сообщения дискретно во времени со скоростью Тогда можно определить количество информации, выдаваемое источником за одну секунду при заданном критерии верности:

Величина называется производительностью источника непрерывных сообщений или скоростью создания информации источником при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой согласно теореме Котельникова, Если спектр сообщения в полосе равномерен где спектральная плотность мощности), то эти отсчеты некоррелированы, а для гауссовского источника и независимы. В этом случае

Для гауссово ко источника с равномерным спектром в полосе на основе (8.42) и (8.44) имеем

Из выражений (8.38) и (8.41) следует, что минимально возможная среднеквадратическая ошибка восстановления первичного гауссовского сигнала

При ошибка максимальна: . При увеличении становится возможным все более точное восстановление и в пределе, когда можно достичь сколь угодно малой ошибки

Рис. 8.3. К расчету -энтропнн непрерывных сигналов

Мы определили эпсилон-энтропию и предельно достижимую ошибку для гауссовского источника с равномерным распределением мощности по спектру. Для такого источника зависимость между энтропией и ошибкой выражается простыми соотношениями (8.45), (8.46). Для реальных источников получить такие соотношения не удается. В работах А. Колмогорова, который впервые ввел понятие эпсилон-энтропии, получены соотношения для некоторых более общих случаев [183]. Так, для гауссовского источника, вырабатывающего непрерывные сообщения с неравномерным энергетическим спектром эпсилон-производительность (скорость создания сообщений в определяется следующим выражением:

Уровень ограничения определяет конечную полосу частот (рис. 8.3), которая для монотонно падающей функции находится из уравнения

В общем же случае при не слишком малой ошибке аппроксимации находится из уравнения

С учетом (8.48) расчетные соотношения (8.47) и (8.49) перепишутся в виде:

В частном случае для сигнала с ограниченным спектром при имеем а из После подстановки в (8.50) получим

При эта формула совпадает с формулой (8.45), которая была получена на основании модели сообщения с ограниченным спектром. Формула же (8.52) получена как частный случай для модели сообщения с неограниченным спектром. Применение формулы (8.45) для реальных сообщений, которые всегда имеют неограниченный спектр, наталкивается на трудность определения конечной полосы Приведенные здесь соотношения позволяют однозначно определить полосу по заданной ошибке Кроме этого, уточняется, что формула (8.45) применима при не слишком малой ошибке Из (8.50) и (8.51) видно, что если ошибка то полоса частот Допущение конечной (не слишком малой) ошибки приводит к потере бесконечно большого количества информации, содержащейся в высокочастотных составляющих спектра лежащих за полосой

При ограниченной средней мощности сообщения (первичного сигнала) и заданной ошибке воспроизведения наибольшую производительность источника непрерывных сообщений имеет гауссовский источник. Поэтому избыточность источника непрерывных сообщений определяется следующим соотношением:

а коэффициент сжатия

Коэффициент сжатия показывает, во сколько раз при оптимальном кодировании источника можно уменьшить количество (объем) данных, необходимых для представления сообщений источника с заданной верностью. Такое кодирование согласно теореме 2 возможно, если осуществляется кодирование не отдельных отсчетов, а достаточно длинных последовательностей этих отсчетов с учетом их распределения вероятностей и функции корреляции сообщений, вырабатываемых источником.

Для практических расчетов удобно системы сжатия данных при цифровой передаче сравнивать с некоторой эталонной (базовой) системой. Такой системой может быть, например, ИКМ. Будем определять коэффициент сжатия как отношение объема данных при к объему данных при рассматриваемой системе:

При условии, что ошибка воспроизведения в том и другом случае одинакова. Здесь объем данных, представляющих сообщение на интервале число отсчетов на этом интервале.