3.4.1. Функция скорость-искажение R(D)

Начнём обсуждение квантования сигналов с рассмотрения погрешности представления отсчётов сигнала от информационного источника фиксированным числом символов (битов). Под термином «искажение» мы понимаем некоторую меру разности между фактическими выборками источника  и соответствующими квантованными значениями , которую мы обозначаем . Например, обычно используемая мера искажения - квадрат ошибки, определенная как

,                                                         (3.4.1)

и используемое для определения ошибки квантования при ИКМ в разд. 3.5.1. Другие меры искажения могут принимать более общую форму:

,                                                                      (3.4.2)

где  принимает значения из ряда положительных целых чисел. Случай  имеет предпочтительную математическую трактовку.

Если  - мера искажения на отсчёт, искажение между последовательностью  отсчётов  и соответствующими  квантованными значениями  является средним значением искажения по  отсчётам, т.е.

.                                                 (3.4.3)

На выходе источника имеет место случайный процесс, и, следовательно,  отсчётов в  являются случайными величинами. Поэтому  - случайная величина. Её математическое ожидание определяет искажение , т.е.

,     (3.4.4)

где последнее равенство следует из предположения, что исходный процесс является стационарным.

Теперь предположим, что мы имеем источник без памяти с непрерывно-амплитудным выходом , который имеет ФПВ отсчёта , квантованный амплитудный алфавит  и меру искажения на отсчёт , где  и . Тогда минимальная скорость в битах на отсчёт, требуемая для представления выхода  источника без памяти с искажением, меньшим или равным  называется функцией скорость-искажение и определяется как

,                                        (3.4.5)

где  - средняя взаимная информация между  и . Вообще, скорость  уменьшается при увеличении  или, наоборот,  увеличивается при уменьшении .

Для гауссовской модели непрерывного по амплитуде информационного источника без памяти Шеннон доказал следующую фундаментальную теорему.

Теорема: Функция скорость-искажение для гауссовского источника без памяти (Шеннон, 1959а). Минимальная скорость кодирования, необходимая для представления выхода дискретного во времени, непрерывного по амплитуде гауссовского источника без памяти, при использовании в качестве меры искажения среднеквадратической ошибки на символ (односимвольная мера искажения)

                            (3.4.6)

где  - дисперсия выхода, гауссовского источника.

Заметим, что (3.4.6) подразумевает, что, если искажение , никакой информации передавать не нужно. Конкретно при  для реконструкции сигнала достаточно воспроизвести нули. При  для реконструкции сигнала мы можем использовать статистически независимые гауссовские шумовые выборки с дисперсией . График функции  представлен на рис. 3.4.1.

Рис. 3.4.1. Функция скорость-искажение для непрерывного по амплитуде гауссовского источника без памяти

Функция скорость-искажение  источника связана со следующей основной теоремой кодирования источника в теории информации.

Теорема: Кодирование источника с заданной мерой искажения (Шеннон, 1959а). Существует схема кодирования, которая отображает выход источника в кодовые слова так, что для любого данного искажения  минимальная скорость  бит на символ (на отсчёт) источника является достаточной для восстановления исходного сигнала со средним искажением, которое является произвольно близким к .

Это очевидно, потому что функция скорость-искажение  для любого источника представляет нижнюю границу скорости источника, которая является возможной для данного уровня искажения.

Вернёмся к результату в (3.4.6) для функции скорость-искажение гауссовского источника без памяти. Если мы поменяем функциональную зависимость между  и , мы можем выразить  через  как

.                                                                  (3.4.7)

Эта функция называется функцией искажение-скорость для дискретного во времени гауссовского источника без памяти

Если искажение в (3.4.7) выразить в децибелах, мы получаем

.                                      (3.4.8)

Заметим, что среднеквадратическое искажение уменьшается со скоростью 6 дБ/бит.

Явных выражений для функции скорость-искажение для негауссовских источников без памяти не существует. Однако имеются полезные верхние и нижние границы функции скорость-искажение для произвольного дискретного по времени, непрерывного по амплитуде источника без памяти. Верхняя граница даётся следующей теоремой.

Теорема: Верхняя граница для . Функция скорость-искажение непрерывного по амплитуде источника без памяти с нулевым средним и конечной дисперсией  при использовании среднеквадратичной меры искажений ограничена сверху величиной

 .                                         (3.4.9)

Доказательство этой теоремы дано Бергером (1971). Подразумевается, что гауссовский источник требует максимальную скорость кодирования среди всех других источников при заданном уровне среднеквадратической ошибки. Следовательно, функция скорость-искажение  для произвольного непрерывного источника без памяти с нулевым средним и конечной дисперсией  удовлетворяет условию . Аналогично функция искажение-скорость того же источника удовлетворяет условию

.                                                      (3.4.10)

Существует также нижняя граница функции скорость-искажение. Её называют нижней границей Шеннона для среднеквадратической ошибки искажения, и она определяется так:

,                                              (3.4.11)

где  - дифференциальная энтропия источника без памяти с непрерывной амплитудой. Функция искажение-скорость, соответствующая (3.4.11), равна

.                                                      (3.4.12)

Следовательно, функция скорость-искажение для произвольного источника без памяти с непрерывной амплитудой ограничена сверху и снизу:

,                                                       (3.4.13)

и соответствующая функция искажение-скорость ограничена:

.                                                       (3.4.14)

Дифференциальная энтропия гауссовского источника без памяти

,                                                         (3.4.15)

так что нижняя граница  в (3.4.11) уменьшается до . Теперь, если выразить  в децибелах и нормировать к  [или деля  на ], мы получаем из (3.4.12)

                            (3.4.16)

или, что эквивалентно,

.    (3.4.17)

Соотношения в (3.4.16) и (3.4.17) позволяют сравнивать нижнюю границу искажений с верхней границей, которая определяет искажения для гауссовского источника. Обратим внимание, что  также уменьшается со скоростью -6 дБ/бит. Мы должны также отметить, что дифференциальная энтропия  ограничена сверху величиной  как показано Шенноном (1948b).

В табл. 3.4.1 даны четыре типа ФПВ, которые являются моделями распределения, обычно используемыми для источника сигнала. В таблице даны значения дифференциальной энтропии, различия в скорости (бит на отсчёт) и различия в искажении между верхней и нижней границами. Заметим, что гамма-распределение показывает самое большое отклонение от гауссовского. Распределение Лапласа наиболее близко к гауссовскому, а равномерное распределение занимает второе место по близости среди ФПВ, показанных в таблице. Эти результаты дают некоторое представление о различии между верхними и нижними границами искажений и скорости.

Перед завершением этого раздела рассмотрим гауссовский источник с ограниченной полосой частот со спектральной плотностью

                                              (3.4.18)

Если выход этого источника дискретизирован с частотой Найквиста, его отсчёты некоррелированны и, так как источник гауссовский, они также статистически независимы.

Таблица 3.4.1. Дифференциальная энтропия и сравнение скорости и искажений четырёх распространённых ФПВ для моделей сигнала

Следовательно, эквивалентный дискретный во времени гауссовский источник является источником без памяти. Функция скорость-искажение для каждого отсчёта дается (3.4.6). Поэтому функция скорость-искажение для белого гауссовского источника с ограниченной полосой частот в бит/отсчёт равна

   .                                    (3.4.19)

Соответствующая функция искажение-скорость

.                                                                (3.4.20)

Выражая в децибелах и нормируя к , получаем

.                                                            (3.4.21)

Большое количество случаев, в которых гауссовский процесс не является ни белым, ни с ограниченной полосой, было рассмотрено Галлагером (1968) и Гобликом и Холсингером (1967).