9. КОДИРОВАНИЕ ИСТОЧНИКА С ЗАДАННЫМ КРИТЕРИЕМ ВЕРНОСТИ

9.1. ВВЕДЕНИЕ

В гл. 3 расссматривалось кодирование выхода источника для минимизации среднего числа кодовых букв на букву источника, при условии, что буквы источника можно было восстановить по кодовой последовательности. Если выход источника — последовательность непрерывно-значных случайных величин или случайный процесс, то, очевидно, невозможно закодировать выход источника в последовательность дискретных кодовых букв, по которой выход источника может быть точно восстановлен. В таких случаях можно только потребовать, чтобы восстановленное сообщение аппроксимировало источник с заданным критерием верности. Например, если выход источника порождает последовательность действительных чисел и эта последовательность восстанавливается как последовательность то можно потребовать, чтобы математическое ожидание взятое по ансамблю источника и усредненное по времени, было меньше некоторого предписанного значения. В более общем случае можно определить меру искажения в рассмотренном выше примере] как произвольную действительную функцию выхода источника и восстановленной последовательности. Тогда критерий верности определяется как максимум допустимого значения среднего искажения.

Основная цель этой главы — найти минимальное число двоичных символов на букву источника или на единицу времени, требуемых для кодирования источника так, чтобы по кодовой последовательности можно было восстановить сообщение, удовлетворяющее заданному критерию верности. Естественно, что этот предел зависит от статистики источника, меры искажения и критерия верности.

Смысл представления выхода источника последовательностью двоичных символов заключается в том, чтобы отделить задачу представления источника от задачи передачи информации. Мы уже знаем из теоремы кодирования, если скорость двоичной последовательности (в битах в секунду) меньше пропускной способности канала (в битах в секунду), по которому последовательность должна быть передана, то последовательность может быть воспроизведена на выходе канала с произвольно малой вероятностью ошибки. Так как при стремлении к 0 вероятности ошибки влияние этих ошибок на полное искажение обычно становится малым, то можно в действительности отделить задачу кодирования для канала от задачи кодирования для источника.

В дальнейшем будет показано, что в некотором смысле иичего не теряется при таком промежуточном представлении двоичными символами. Точнее, будет показано, что если пропускная способность канала слишком мала для надежной передачи с минимальной скоростью, требуемой для представления источника с заданным критерием верности, то этот критерий не может быть удовлетворен, независимо от того, какого вида обработка используется между источником и каналом.

В принципе теория, развиваемая здесь, применима к задачам, обычно классифицируемым как квантование, преобразование аналог — цифра, сжатие полосы частот и редукция данных. На практику эта теория еще не оказывает большого влияния. Частично это объясняется отсутствием множества эффективных методов для осуществления кодирования источника при условии, что удовлетворяется критерий верности. Более существенной причиной является трудность нахождения приемлемых математических моделей для практически важных источников. Например, трудно дать статистическое описание речевого сигнала и еще труднее найти разумную меру искажения в этом случае. Однако даже в такой сложной проблеме могут быть весьма полезными те результаты и то понимание, которые возникают, из развиваемого здесь теоретического подхода.