Глава 5. КОДИРОВАНИЕ ИСТОЧНИКОВ С ЗАДАННЫМ КРИТЕРИЕМ КАЧЕСТВА

В этой главе мы вернемся к кодированию источников, которое рассматривалось в первой главе, с некоторым, однако, отличием в постановке задачи. Ранее требовалось определить наименьшее количество кодовых символов на сообщение источника, при котором сообщения возможно восстановить точно или со сколь угодно малой вероятностью ошибки по выходной последовательности кодера. Теперь не будем требовать точного или сколь угодно точного восстановления. Мы введем понятие критерия качества и ошибки восстановления, связанной с этим критерием качества, и потребуем, чтобы восстановление осуществлялось с ошибкой, не превосходящей заданное значение. Вопрос, который при этом будет нас интересовать, по-прежнему заключается в определении наименьшего количества кодовых символов на сообщение источника или наименьшей достижимой скорости кодирования, при которой такое восстановление можно осуществить.

Задача кодирования при заданном критерии качества естественно возникает при кодировании непрерывных источников. Действительно, всякий прибор, измеряющий сигналы на выходе непрерывных источников, обязательно вносит ошибки измерений. С другой стороны, если такой источник сопрягается с вычислительной машиной или цифровым вычислительным устройством, то его сообщения могут быть обработаны только с некоторой ошибкой, связанной с дискретностью устройства. Очевидно, что ошибка может быть сделана тем меньшей, чем больше символов некоторого алфавита, например, чем больше десятичных символов используется для представления одного сообщения непрерывного источника. Задача заключается в том, чтобы установить минимальное количество символов на сообщение, при котором величина ошибки не превосходит заданное значение.

При кодировании дискретных источников также можно представить себе ситуацию, в которой возникает задача кодирования с заданным критерием качества. Предположим, что с точки зрения некоторого получателя сообщения источника избыточны и ему достаточно иметь только какую-то часть из них. Пусть, например, дискретный датчик давления в кабине космического корабля измеряет давление с точностью 5 мм рт. ст. и каждое измерение имеет форму семиразрядного двоичного числа. Пусть также

имеется контролирующая система, которая должна срабатывать, когда давление выйдет из допустимых пределов. С точки зрения получателя, которым является эта система, измеренные значения давления избыточны. Можно ввести критерий качества, адекватный задаче контроля, и задаться вопросом о том, какое количество двоичных символов в этом случае необходимо. Понятно, что это количество будет существенно меньшим, чем семь двоичных символов.

Другой важный случай, когда возникает задача кодирования с критерием качества, связан с передачей сообщений по каналам связи. Предположим, что сообщения некоторого источника передаются по каналу связи. Если в канале есть шум, то, как было показано в предыдущих главах, возможно так закодировать передаваемые сообщения, чтобы при декодировании ошибки появлялись бы со сколь угодно малой вероятностью, т. е. так, чтобы шум в канале практически не влиял бы на передачу сообщений. Единственное требование, которое должно быть при этом удовлетворено, состоит в том, чтобы количество информации, подаваемое в единицу времени на вход канала, не было слишком большим, точнее, чтобы оно не превосходило константы С, определяемой каналом и называемой пропускной способностью канала. Пусть есть количество информации в единицу времени, порождаемое источником. Если то возможно передать сообщения источника через канал так, чтобы они восстанавливались со сколь угодно малой вероятностью ошибки. Но если то этого сделать нельзя и при декодировании почти всегда будут возникать ошибки.

Если теперь ввести критерий качества и в соответствии с ним определять численное значение ошибки, то можно поставить вопрос о том, какова наименьшая достижимая ошибка, возникающая при передаче сообщений данного источника по данному каналу. Нетрудно понять, что ошибка связана с количеством информации порождаемым источником. Если обозначить через количество информации в единицу времени при ошибке то наименьшая достижимая ошибка будет равна корню уравнения