ТЕОРЕМЫ КОДИРОВАНИЯ ДЛЯ ДИСКРЕТНОГО ИСТОЧНИКА ПРИ ЗАДАННОМ КРИТЕРИИ ТОЧНОСТИ

Краткое содержание

В статье рассматривается дискретный источник сообщений, образованных последовательностями букв из конечного алфавита. Мера искажения отдельной буквы задается неотрицательной матрицей Каждое определяет «цену» или «искажение», возникающее, если буква воспроизводится в приемнике как буква За среднее искажение системой связи (источник — кодирующее устройство — канал с шумами — декодирующее устройство) принимается где — вероятность того, что будет воспроизведено как Показано, что существует функция которая измеряет «эквивалентную скорость» источника для заданного уровня искажения. В том случае когда при кодировании сообщения допускается уровень искажения, равный рассматриваемый источник действует подобно источнику со скоростью создания информации Приведены методы вычисления и рассмотрены различные свойства функции . В заключение развитые теоретические положения обобщаются на эргодические источники, на непрерывные источники и на меры искажения, зависящие от целых блоков букв.

В статье исследуется проблема кодирования для дискретного источника информации при заданном критерии точности или мере искажения сообщения, восстановленного на приемном конце,

относительно фактически переданного сообщения. В ряде случаев может существовать некоторый допустимый уровень искажения, определяемый этой мерой, и нам желательно так кодировать информацию, чтобы достигнуть максимально возможной скорости передачи, не превосходя этого допустимого уровня искажения. Данная работа представляет собой обобщение и детализацию высказанных ранее идей с подробным рассмотрением случая дискретного канала.

Покажем, что для широкого класса мер искажения и дискретных источников информации существует функция (зависящая от заданных меры искажения и источника), которая измеряет в определенном смысле эквивалентную скорость источника (битах на букву), когда — допустимый уровень искажения. Будут даны методы вычисления точных значений в некоторых простых случаях и асимптотических значений в более сложных случаях. Основные результаты работы, грубо говоря, показывают, что по каналу без памяти с пропускной способностью С (бит в секунду) и с уровнем искажения меньшим или равным невозможно передавать сигналы со скоростью, большей чем (букв в секунду), но при достаточно длинных блоковых кодах возможно сколь угодно точно приблизиться к скорости с уровнем искажения

Наконец, приведены детально разобранные частные примеры, в которых используются вероятность искажения буквы сообщения и некоторые другие простые меры уровня искажения.