ИТОГИ И ВЫВОДЫ

В этой главе рассмотрена проблема воспроизведения выхода источника у адресата при выполнении заданного критерия верности. Источник был описан с помощью множества возможных выходов источника и вероятностной меры на этих выходах. За критерий верности было выбрано среднее искажение на букву или единицу времени между источником и адресатом. С точки зрения теории мера искажения является неотрицательной функцией выхода источника и его воспроизведенного варианта. Сточки зрения приложений, конечно, мера искажения должна быть выбрана так, чтобы она отражала в некотором смысле стоимость для потребителя любого заданного воспроизведения любого заданного выхода источника.

Мы начали с дискретных источников без памяти с мерами искажения отдельной буквы и затем обобщали результаты на все более и более общие случаи. В каждом случае сначала определялась скорость как функция искажения и затем этой функции придавался смысл с помощью доказательства теоремы кодирования для источника и ее обращения. То, что говорится в теореме кодирования для источника, по существу, сводится к тому, что для заданного выход источника может быть закодирован с помощью двоичных символов на символ источника (или на единицу времени, в зависимости от

единиц измерения и что эти двоичные символы могут быть преобразованы в буквы адресата таким образом, что среднее искажение на букву (или на единицу времени) будет сколь угодно близко к Этот же результат остается справедливым, если двоичные символы кодируются и передаются по каналу с шумами и пропускной способностью, большей чем где пропускная способность выражается в натах на букву источника (или в натах на единицу времени). Обращение теоремы устанавливает, что если выход источника передается по каналу с пропускной способностью, меньшей чем то независимо от преобразований выхода источника и сообщений, поступающих адресату, среднее искажение на букву (или на единицу времени) должно быть больше

Читатель должен заметить много аналогий между полученными здесь результатами для кодирования источника и теорией кодирования для канала с шумами, однако может быть полезно обратить здесь внимание на некоторые отличия. Теорема кодирования для канала с шумами связывает достижимую вероятность ошибочного декодирования с длиной кодового блока и скоростью кода Было найдено, что для фиксированного меньшего чем пропускная способность канала, убывает экспоненциально с увеличением длины блока. При кодировании источника эквивалентными параметрами, представляющими интерес, являются среднее искажение на букву длина кодового блока и скорость кода Здесь для фиксированного R при возрастании число убывает к задаваемому Сходимость происходит немедленнее чем по-видимому, не быстрее чем [см. Пилк (1967)]. Таким образом, при кодировании источника следует затратить весьма много усилий (в смысле увеличения длины блока) для того, чтобы достичь весьма незначительного уменьшения в то же время для каналов с шумами весьма умеренное возрастание длины блока может привести к сильному убыванию вероятности ошибки.

В качестве примера (быть может, нетипичного) того, сколь немногое может быть достигнуто утонченным кодированием источника, можно рассмотреть гауссовский дискретный по времени источник с квадратично-разностной мерой искажения. Гоблик (1967) и Макс (1960) рассматривали среднее искажение, которое может быть достигнуто с помощью квантования (т. е. кода источника с единичной длиной блока). Они нашли, что если квантованные буквы закодированы без шумов (с помощью метода Хаффмана), то для малых значений искажения среднее искажение примерно лишь на больше минимального, предсказываемого кривой Если также не использовать кодирование Хаффмана, то потеря все же будет меньше

Другое основное отличие между кодированием для канала и кодированием источника проявляется в трудности получения приемлемых вероятностных моделей и разумных мер искажения для источников, представляющих практический интерес. В силу этой трудности вообще неясно, будет ли теоретический подход полезным в таких задачах, как

преобразование речи в дискретные данные или сужение полосы частот в телевидении.

ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ

Большинство результатов этой главы принадлежит Шеннону (1959). Доказательства леммы 9.3.1 и теоремы 9.3.1 используют как методы первоначального доказательства Шеннона, так и последующие методы, развитые Гобликом и Стиглитцем. Они проще, чем первоначальные методы, и приводят к лучшим результатам о сходимости к для кодов с увеличивающейся длиной блока. Распространение теории на случай, когда принимает бесконечные значения, и теорема 9.3.2 взяты у Пинкстона (1967). Теорема 9.4.1 публикуется здесь впервые, хотя нижняя граница в (9.4.10) была выведена Шенноном в частном случае квадратично-разностной меры искажения. Обращение теоремы кодирования для канала с шумами в § 9.5 взято у Пинкстона (1967). Вычисление скорости как функции искажения для гауссовского дискретного по времени источника проведено Шенноном (1948), и скорость как функция искажения для гауссовского случайного процесса найдена Колмогоровым (1956). По-видимому, теорема кодирования для источника, порождающего гауссовский случайный процесс, ранее не появлялась в литературе. Результаты § 9.8 новые, хотя аналогичная теорема, не требующая, чтобы источник был дискретным, но требующая выполнения несколько более сильного условия чем эргодичность, была получена Гобликом (1967).

СПИСОК ОБОЗНАЧЕНИЙ

(см. скан)