1. СИСТЕМЫ СВЯЗИ И ТЕОРИЯ ИНФОРМАЦИИ

1.1. ВВЕДЕНИЕ

Теория связи имеет главным образом дело с системами, предназначенными для передачи информации или данных из одной точки в другую. На рис. 1.1.1 приведена довольно общая блок-схема для юго, чтобы наглядно представить поведение таких систем. Выход источника на рис. 1.1.1 может, например, представлять собой звуковую речь; последовательность двоичных символов, поступающих с магнитной ленты; выход ряда датчиков при зондировании космоса; сигналы, поступающие к органам чувств живого организма или цель в радиолокационной системе.

Рис. 1.1 1. Блок-схема системы связи.

Каналом может быть, например, телефонная линия; высокочастотная радиолиния; линия космической связи; устройство памяти или живой организм (для случая, когда выходом источника являются сигналы, поступающие к органам чувств живого организма). В канале обычно действуют различные шумовые помехи, которые в телефонной линии, например, могут возникать из-за временных изменений частотной характеристики; из-за разговоров, проникающих из других линий; из-за теплового шума и из-за импульсного шума, источником которого являются переключательные схемы. Кодер на рис. 1.1.1 производит любую обработку выхода источника, совершаемую до передачи. Такая обработка может включать в себя, например, какую-либо комбинацию модуляций, редукции данных и внесения избыточности для борьбы с шумом в канале. Декодер производит обработку сигналов на выходе канала, целью которой является воспроизведение на приемном конце приемлемой копии (или отклика) выхода источника.

В начале 1940-х годов К. Э. Шеннон (1948) разработал математическую теорию, названную теорией информации, которая имеет дело с наиболее фундаментальными аспектами систем связи. Замечательными свойствами этой теории являются, во-первых, широкое привлечение теории вероятностей, во-вторых, указание определяющего значения кодера и декодера как с точки зрения их функциональной роли, так и с точки зрения существования (или не существования) таких кодеров и декодеров, на которых достигается заданный уровень качества передачи. За последние двадцать лет теория информации стала более

точной, получила значительное развитие и достигла того уровня, на котором возможно ее применение к практическим системам связи. Целью этой книги является представление как логической структуры этой теории, так и указание того, где и как эта теория может быть применена.

Так же как любая математическая теория, эта теория оперирует только с математическими моделями, а не с физическими источниками и физическими каналами. Можно было бы предположить поэтому, что было бы удобным начать изложение теории с обсуждения того, как построить подходящие математические модели физических источников и каналов. Однако теории строятся не так главным образом потому, что физическая реальность очень редко является достаточно простой для того, чтобы ее можно было точно представить с помощью модели, поддающейся математической обработке. Мы начнем с изучения простейших классов математических моделей источников и каналов и далее используем складывающиеся представления об этих моделях и относящиеся к ним результаты для изучения все более сложных классов моделей. Естественно, что выбор классов моделей для изучения будет навеян и обусловлен наиболее важными чертами реальных источников и каналов, но наше представление о том, какие из этих черт являются важными, будет видоизменяться на основе теоретических результатов. Наконец, после того как теория будет понята, будет установлено, что она является полезной при исследовании реальных систем связи по следующим двум причинам. Во-первых, она даст основу, на которой можно построить подробные модели реальных источников и каналов. И, во-вторых, что более важно, взаимосвязи, установленные теорией, указывают на типы обменных соотношений, возникающих при построении кодеров и декодеров для заданных систем. В то время как указание выше замечания могут быть отнесены к почти любой математической теории, они особенно необходимы здесь потому, что должна быть разработана весьма развитая теория до того, как наиболее важные для построения систем связи рекомендации станут очевидными.

Для того чтобы произвести дальнейшие упрощения при изучении моделей источников и моделей каналов, полезно частично отделить эффекты, связанные с источником в системе связи, от эффектов, связанных с каналом. Это может быть сделано с помощью разбиения как кодера, так и декодера, изображенных на рис. 1.1.1, на две части, как это показано на рис. 1.1.2. Задачей кодера для источника является представление выхода источника с помощью последовательности двоичных символов, и один из главных вопросов, возникающих в связи с этим, является вопрос о том, как много двоичных символов в единицу времени требуется для представления выхода любой заданной модели источника. Задача кодера и декодера для канала состоит в том, чтобы надежно воспроизвести двоичные последовательности данных на выходе декодера для канала, и один из главных вопросов, возникающих в связи с этим, состоит в том, возможно ли это сделать, и если возможно, то как.

Конечно, не очевидно, приводят ли представления кодера и декодера в виде, указанном на рис. 1.1.2, к каким-либо фундаментальным

ограничениям характеристик системы связи. Однако одним из наиболее важных результатов теории является то, что при весьма широких условиях никакие такие ограничения не возникают (но этот результат не означает, что кодер и декодер вида, изображенного на рис. 1.1.2, всегда являются наиболее экономичными для достижения заданной точности передачи).

С практической точки зрения разбиение кодера и декодера, указанное на рис. 1.1.2, является особенно удобным, так как это позволяет строить кодер и декодер для канала фактически независимо от кодера и декодера для источника и использовать двоичное представление данных в качестве границы раздела. Это, конечно, облегчает использование различных источников при одном и том же канале.

Рис. 1.1.2. Блок-схема системы связи, в которой кодер и декодер разбиты на две части.

В следующих двух параграфах будут кратко описаны классы моделей источников и моделей каналов, которые изучаются в последующих главах, а также будут описаны кодирование и декодирование этих источников и каналов. Так как основное внимание в теории информации сосредоточено, главным образом, на кодировании и декодировании, то нужно ясно понимать, что эта теория неприменима в равной мере ко всем ситуациям, возникающим в связи. Так, например, если источником является радиолокационная цель, то здесь нет возможности кодировать выход источника (если конечно, мы не хотим рассматривать выбор радиолокационных сигналов как метод кодирования), и поэтому нельзя ожидать, что эта теория дает здесь больше, чем взгляд со стороны. Подобно этому, если выходом источника являются сигналы, поступающие к органам чувств живого организма, то мы могли бы рассмотреть организм как комбинацию кодирования, канала и декодирования, но мы не смогли бы управлять кодированием и декодированием, и не совсем ясно, что такая модель является наиболее плодотворной для изучения живых организмов. Таким образом, опять-таки теория информации может дать некоторое понимание поведения таких организмов, но ее нельзя, конечно, рассматривать как магический ключ для понимания.