8.4. Гауссовские источника с квадратично-разностной погрешностью

До сих пор исходили из предположения, что заданы распределение вероятностей источника и мера погрешности. В действительности же статистические свойства реальных источников заранее не известны и их следует установить путем измерений. При этом доступными оказываются, как правило, лишь среднее значение и корреляционные свойства источника. Статистики первого и второго порядков оказываются достаточными для описания источника в том случае, если он — гауссовский, и на практике часто исходят именно из этого предположения. Во многих случаях в пользу предположения о гауссовости приводятся доводы типа центральной предельной теоремы. Выбор меры погрешности зависит от характера приложений, и здесь также ничего нельзя сказать заранее. Применительно, например, к задачам сжатия речи и изображений получены оценки, позволяющие сравнивать различные меры погрешности, основанные на субъективном восприятии качества сжатой речи или изображений. На практике наиболее употребительной оказывается квадратично-разностная мера погрешности,

В большинстве прикладных работ по сжатию данных предполагается, что источники гауссовские, а в качестве меры погрешности берется квадратичная ошибка. Теорема 8.3.1 показывает, что в случае квадратично-разностной меры погрешности предположение о гауссовости приводит к максимальным значениям скорости как функции погрешности. Таким образом, если критерий задан, то значение для гауссовского источника является достижимой скоростью независимо от того, будет ли в действительности источник гауссовским или нет. Другой важный момент состоит в том, что только в случае гауссовского источника с квадратичной мерой погрешности сравнительно легко удается находить скорость как функцию погрешности для различных обобщений задачи кодирования. Это позволяет сравнивать различные схемы сжатия. Сначала обратимся к квантованию гауссовского источника без памяти и сравним получающуюся при этом среднеквадратичную ошибку с погрешностью, достижимой в соответствии со значением скорости как функции погрешности. Затем изучим более общие гауссовские источники с памятью и найдем соответствующие им значения скорости как функции погрешности.

8.4.1. Квантование дискретных по времени источников без памяти

Начнем с простейших источников, какими являются дискретные по времени гауссовские источники с квадратично-разностной мерой погрешности, для которых скорость как функция погрепности определена в (7.7.20) соотношением

На выход источника поступают независимые гауссовские случайные величины с нулевым средним и дисперсией При этом означает наименьшую скорость, которая требуется для достижения среднеквадратичной ошибки Как показано в теореме 7.7.3, для негауссовских источников также означает достижимую скорость при квадратично-разностной мере погрешности.

Простейший и наиболее распространенный способ сжатия данных состоит в квантовании выходных величин источника. Например, квантователь на уровней сопоставляет с выходной величиной принимающей действительные значения, одно из значений Легче всего это осуществить, выбрав пороговые величины когда с величиной сопоставляется величина по правилу

Таким образом, квантователь на уровней преобразует каждую выходную величину независимо от других величин, что приводит к средней погрешности

где Так как имеется всего уровней квантования, то для передачи по каналу точного значения квантованной величины требуется не более символов источника.

Рис. 8.2. Способы квантования

На рис. 8.2 представлен теоретический предел и

указаны точки с координатами соответствующие различным значениям При этом были взяты такие уровни и пороги которые согласно Ллойду [1959] и Максу [1960] минимизируют

Можно улучшить описанный способ квантования, если учесть, что уровню соответствует вероятность

а энтропия квантованных величин

Квантованные выходные величины источника можно закодировать без погрешности (см. гл. 1) со скоростью, сколь угодно близкой к Гоблик и Хользингер [1967] исследовали вопрос о минимизации варьируя величины при ограничении и одинаковых значениях В результате они получили семейство равномерных квантователей с огибающей, показанной на рис. 8.2. При квантовании с последующим кодированием без погрешности достигается скорость, которая лишь на символов источника больше, чем теоретический предел, определяемый функцией Это естественно, так как память в источнике отсутствует. Объем памяти и число используемых кодовых слов, необходимых для кодирования без погрешности, приблизительно такие же, как и при непосредственном кодировании источника с заданным критерием точности. Однако если использовать кодирования с погрешностью, то эффективность квантования снизится, так как возрастет скорость передачи. Этому случаю соответствует квантователь Ллойда — Макса, указанный на рис. 8.2.

Хотя рассмотренный пример и относится к гауссовскому источнику без памяти с квадратично-разностной мерой погрешности, тем не менее даже метод простого квантования обеспечивает для широкого класса источников без памяти эффективность, близкую к теоретическому пределу. Дальнейшее улучшение достигается путем квантования с последующим точным кодированием квантованных величин. Этот пример указывает на практическую эффективность метода квантования для большинства источников без памяти. Однако для источников с памятью, выходные величины которых принимают действительные значения, а тем более для общих типов источников, одного квантования уже недостаточно для проведения эффективного сжатия данных.