7.5. Непрерывные по амплитуде источники без памяти

Многие источники, такие как дискретизаторы речи, воспроизводящие речь, могут быть представлены моделью источника с дискретным временем и вещественным выходом, т. е. моделью источника с алфавитом Будем рассматривать дискретные по времени и непрерывные по амплитуде источники без памяти. Это значит, что и алфавит источника и алфавит представления совпадают с множеством действительных чисел, а выходное значение источника в момент времени есть случайная величина с плотностью вероятностей Пусть задана, быть может, неограниченная неотрицательная мера погрешности определенная для всех Выходные величины источника независимы и одинаково распределены. Погрешность между последовательностями длины N определяется как Помимо того, что выходные величины источника определены как непрерывные вещественные случайные величины, основное отличие рассматриваемого случая от случая, анализировавшегося в предыдущем параграфе, состоит в том, что побуквенная мера погрешности может быть неограниченной. Это допущение позволяет рассматривать такие общепринятые меры попрешности, как абсолютно-разностная погрешность и квадратично-разностная погрешность

Чтобы преодолеть трудности, связанные с неограниченностью меры погрешности, будем предполагать,

где некоторое конечное число. Это условие того, что случайная величина имеет ограниченное среднее и ограниченную дисперсию, т. е. условие, которое выполняется в большинстве наиболее интересных случаев. Ниже будем предполагать, что для рассматриваемых непрерывных источников и мер погрешности это условие выполняется.

7.5.1. Теорема блочного кодирования для непрерывных источников

Обратимся опять к изображенной на рис. 7.3 схеме блочного кодирования источников и рассмотрим множество состоящее из последовательностей по N символов в каждой, называемое блочным кодом длины N со скоростью передачи нат на символ источника. Для этого кода средняя погрешность

где

Доказывая теорему блочного кодирования, будем в основном следовать доказательствам, разработанным в § 7.2 для дискретных источников без памяти, заменяя суммирование вероятностей интегрированием функций плотности вероятностей. Как и раньше, будем пользоваться техникой усреднения по ансамблю кодов, вводя условные плотности вероятностей

и соответствующие им маргинальные плотности в

Действуя, как в § 7.2 {см. (7.2.8), (7.2.11)], и меняя суммирование интегрированием, найдем

Определяя, как в (7.2.15),

и замечая, что оценим первый интеграл согласно неравенству

При оценивании второго члена больше нельзя пользоваться ограниченностью Вместо этого воспользуемся простой формой неравенства Гельдера (см. приложение П3)

с учетом того, что Далее предположим, что вектор есть вектор, целиком состоящий из нулей, т. е. Тогда

где последнее неравенство следует из (7.5.1). Таким образом, для находим

Перейдем к оценке среднего по ансамблю значения величины Для этого рассмотрим ансамбль кодов, у которых последовательность фиксирована, а веса, приписываемые в ансамбле остальным кодовым словам, определяются плотностями соответствующими независимым одинаково распределенным компонентам. Далее, любому коду сопоставим код в котором отсутствует кодовое слово Ясно, что

Отсюда, в силу (7.5.11) и (7.5.13), для любого кода находим

Усредняя по ансамблю кодов и применяя неравенство Иенсена, получаем границу

Выражение, заключенное в квадратные скобки, можно оценить, используя выкладки в доказательстве леммы 7.2.1 [см. (7.2.20) — (7.2.22)], после замены суммирования интегрированием по плотностям вероятностей. Это приводит к оценке

где

Свойства функции совпадают со свойствами, отмеченными леммой 7.2.2, где среднюю взаимную информацию следует понимать как

Тогда из леммы 7.2.3 следует, что

Подставляя эти результаты в (7.5.15), приходим к границе

где

Выбор условной плотности вероятностей все еще остается произвольным и может быть использован для минимизации оценки величины Предположим, что критерий точности, которому должна удовлетворять схема блочного кодирования, имеет вид Тогда рассмотрим множество

и определим функцию

и скорость как функцию погрешности

Подставляя эти выражения в (7.5.20), приходим к следующей теореме кодирования непрерывных источников без памяти.

Теорема 7.5.1. Теорема кодирования источников. Для любой длины блока N и любой скорости существует блочный код со средней погрешностью удовлетворяющей неравенству

где

Доказательство. См. доказательство теоремы 7.2.1 Соотношение (7.5.23) определяет скорость как функцию погрешности для непрерывного источника без памяти при условии, что неограниченная побуквенная мера погрешности удовлетворяет условию ограниченности дисперсии. Чтобы оправдать это определение, необходимо доказать обратную теорему. Это нетрудно сделать, используя в качестве основы доказательство, приведенное ранее для дискретных источников без памяти (см. теорему 7.2.3).

Теорема 7.5.2. Обратная теорема кодирования источников. Ни для какой пары кодера — декодера источника невозможно достичь средней погрешности, меньшей или равной при скорости передачи

Доказательство прямой теоремы кодирования, приведенное в этом параграфе, применимо к дискретным источникам без памяти с неограниченной мерой погрешности, если только удовлетворяется требование ограниченности дисперсии. Точно так же для дискретных источников со счетным бесконечным алфавитом можно сформулировать теорему кодирования, аналогичную теореме 7.5.1. Примером такого источника служит источник, определяемый пуассоновской случайной величиной с абсолютной мерой погрешности (см. задачи 7.25-7.27).

Мы показали, что теоремы кодирования для непрерывных источников доказываются так же, как теоремы кодирования для дискретных источников без памяти с ограниченной побуквенной мерой погрешности. Остаются в силе и все рассуждения о связи между кодировамием для каналов и кодированием для источников. Наконец, может быть получена и теорема решетчатого кодирования, что будет показано ниже.