1.11. Краткое содержание книги

После представления основных задач, а также нескольких кодов С различными свойствами, обсудим материал, содержащийся в книге.

В гл. 2, 3 и 11 рассмотрены методы кодирования информации (сообщений), при которых любые ошибки, если их число не превышает заданного уровня, обнаруживаются и (или) исправляются на приемном конце без дополнительного обращения к источнику. При обнаружении неисправленной ошибки можно было бы запросить повторную передачу сообщения в надежде принять его в следующий раз правильно. В общем случае возможность обнаруживать и исправлять ошибки достигается добавлением к сообщению некоторых символов, что приводит к некоторому удлинению сообщения. Основная задача состоит в том, чтобы обеспечить необходимую защиту от неизбежных ошибок (шума), используя не слишком много дополнительных символов. Типичным примером такого кодирования является кодирование для канала.

Сжатие сообщений важно с точки зрения эффективности. При передаче сжатых сообщений время загрузки аппаратуры соответственно сокращается; с точки зрения хранения информации сжатые собщения требуют меньшего объема памяти. Сжатие — это кодирование источника. В гл. 4 и 5 представлены различные методы сокращения объема передаваемой информации. Для этого исследуется структура посылаемых сообщений. Если информация обладает явно выраженной структурой, то можно осуществить значительное сжатие сообщения и достичь значительного эффекта. Из большого числа свойств сообщений, на основании которых можно произвести сжатие, рассмотрены лишь некоторые наиболее распространенные. Исследованы общие методы сжатия и опущены многочисленные специальные приемы, которые, как правило, достаточно легко применимы.

В гл. 6 вводится основное понятие энтропии источника информации и показывается, как энтропия связана с максимальным количеством информации, которое можно передать по каналу. Это поможет до некоторой степени приобщиться к пониманию того, что собой представляет информация. Первая теорема кодирования Шеннона относится к каналу без шума, и ее сравнительно легко доказать. Вторая теорема, приведенная в гл. 10, рассматривает передачу информации по каналу с шумом; ее доказательство намного сложнее. К счастью, простой двоичный симметричный канал является достаточно реальным частным случаем и для него легко понять это доказательство. Доказательство теоремы в более общем случае сложнее, и в книге дан лишь его набросок.

Две теоремы Шеннона устанавливают границы того, что можно получить с помощью кодирования. К сожалению, вторая теорема не является конструктивной, и не объясняет нам, как на практике приблизиться к указанным в ней границам. Результат, однако, не является бесполезным, поскольку он указывает, когда

можно значительно улучшить системы передачи сигналов и когда можно достичь лишь небольших улучшений.

В теории информации определение канала часто бывает достаточно абстрактным, что приводит к необходимости других способов определения центрального понятия пропускной способности. В приложении А кратко показано, как на практике измеряется пропускная способность канала в системе передачи сигналов.

Напомним читателю, что хотя часто используется терминология, относящаяся к «передаче сигналов из одного места в другое», все сказанное можно применить к «передаче сигналов от одного момента времени до другого» в некоторой системе памяти. В этом случае первая теорема Шеннона (без шума) часто становится более существенной.

Традиция в изложении теории кодирования и теории информации состоит в том, чтобы придерживаться, по возможности, наиболее общего и элегантного пути, часто весьма абстрактного, использующего много математики и далекого от практических аспектов. Такой подход не является необходимым, поэтому будем регулярно останавливаться и показывать, как обсуждаемые вопросы связаны со здравым смыслом с нуждами практики, и чем они могут быть полезны при проектировании будущих систем. Попытаемся также приводить доказательства, которые, по возможности, интуитивно очевидны, а не просто элегантны с математической точки зрения. В процессе изложения подчеркиваются многочисленные небольшие практические детали, важные при проектировании системы в целом.

Уточним, наконец, принятый в книге подход. В настоящее время используется много разных систем передачи сигналов и еще больше их будет использоваться в ближайшем будущем. Поэтому нецелесообразно рассматривать их одну за другой. Следует принять более широкий, общий подход и сконцентрировать внимание на таких основных понятиях, которые представляются наиболее существенными для понимания уже имеющихся и -будущих систем передачи сигналов. Действительно, такой подход является единственно разумным в любой быстро развивающейся научной области. Подход, основанный на изучении отдельных примеров, приводит к тому, что новая система ставит студента в тупик. Таким образом, наше изложение, по необходимости, часто является абстрактным и не содержит описания многих деталей существующих систем.