МАТЕМАТИЧЕСКАЯ ТЕОРИЯ СВЯЗИ
Введение
Современное развитие различных методов модуляции, таких, как ИКМ и ИФМ, позволяющих компенсировать изменение отношения сигнал/шум изменением полосы частот, повысило интерес к общей теории связи. Некоторые основные положения этой теории содержатся в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале и возможность экономии за счет учета статистической структуры исходного сообщения и назначения передаваемой информации.
Основная задача связи состоит в точном или приближенном воспроизведении в некотором месте сообщения, выбранного для передачи в другом месте. Часто сообщения имеют значение, т. е. относятся к некоторой системе, имеющей определенную физическую или умозрительную сущность, или находятся в соответствии с некоторой системой. Эти семантические аспекты связи не имеют отношения к технической стороне вопроса. Существенно лишь, что посылаемое сообщение является сообщением, выбранным из некоторого
множества возможных сообщений. Система связи должна быть спроектирована так, чтобы ее можно было использовать для передачи любого возможного сообщения, а не только того, которое будет в действительности выбрано, так как результат этого выбора еще неизвестен в момент проектирования.
Если множество возможных сообщений конечно, то число сообщений или любую монотонную функцию от этого числа можно рассматривать как меру информации, создаваемой выбором одного сообщения из этого множества, в предположении, что все сообщения равновероятны. Как было указано Хартли, наиболее естественно выбрать логарифмическую функцию. Хотя это определение должно быть значительно обобщено при рассмотрении влияния статистической структуры сообщения и при наличии непрерывного множества сообщений, будем по существу во всех случаях пользоваться логарифмической мерой.
Логарифмическая мера более удобна по различным причинам.
1) Она практически более пригодна. Параметры, имеющие техническое значение, такие, как время, ширина полосы частот, количество реле и т. д., зависят линейно от логарифма числа возможностей. Например, добавление одного реле к некоторой схеме удваивает число возможных состояний реле. Тем самым прибавляется единица к логарифму этого числа при основании 2. Удвоение времени, грубо говоря, возводит в квадрат число возможных сообщений, т. е. удваивает логарифм и т. д.
2) Она ближе к нашему интуитивному представлению о подходящей мере. Это обстоятельство тесно связано с первой причиной, так как мы интуитивно измеряем количества с помощью линейного сравнения с принятыми эталонами. Например, каждый чувствует, что две перфокарты должны обладать вдвое большей емкостью для хранения информации, чем одна, а два идентичных канала должны иметь удвоенную пропускную способность.
3) Она является более подходящей с математической точки зрения. Многие предельные переходы весьма просты при использовании логарифмов, но потребовали бы сложных приемов при использовании числа сообщений.
Выбор основания логарифмов соответствует выбору единицы измерения информации. Единицы измерения, получающиеся при использовании основания два, могут быть названы двоичными единицами или сокращенно битами (слово, предложенное Тьюки). Прибор с двумя устойчивыми состояниями, такой, как реле или мультивибратор, может хранить один бит информации. таких устройств могут хранить бит, так как полное число возможных состояний есть При использовании в качестве основания числа десять единицы измерения информации могут быть
названы десятичными единицами. Так как
то десятичная единица составляет примерно бита. Числовой барабан арифмометра имеет десять устойчивых положений и поэтому обладает способностью хранить одну десятичную единицу информации. При аналитических расчетах, когда приходится интегрировать и дифференцировать, иногда удобно применять основание .
Рис. 1. Общая схема системы связи.
Получающиеся при этом единицы информации могут быть названы натуральными диницами. Переход от основания а к основанию требует лишь умножения на
Под системой связи мы будем понимать систему типа, указанного на рис. 1. Она состоит по существу из пяти частей:
1. Источник информации, создающий сообщение или последовательность сообщений, которые должны быть переданы на приемный конец. Сообщения могут быть различных типов: а) последовательность букв, как в системах телеграфа и телетайпа; б) некоторая функция времени как в радио или телефонии; в) функция времени и других переменных, как в черно-белом телевидении — здесь сообщение можно считать функцией от двух пространственных координат и времени (интенсивность света в точке и в момент времени на экране приемной трубки); г) две или более функций времени, скажем как это имеет место в «трехмерной» передаче звука или в системе, которая рассчитана на обслуживание нескольких индивидуальных каналов мультиплексным методом; д) несколько функций от нескольких переменных — в цветном телевидении сообщение состоит из трех функций: определенных в трехмерном континууме. Мы можем также рассматривать эти три функции как компоненты векторного поля, определенного в этой области; аналогично несколько источников черно-белого телевидения производили бы «сообщения», состоящие из нескольких функций трех переменных; е) встречаются также различные комбинации, например, в телевидении с каналом звукового сопровождения.
2. Передатчик, который перерабатывает некоторым образом сообщение в сигналы, соответствующие характеристикам данного канала. В телефонии эта операция состоит просто в преобразовании звукового сигнала в пропорциональный ему электрический ток. В телеграфии имеется некоторая операция кодирования, которая дает последовательность точек, тире и пробелов, соответствующих сообщению. В многоканальных системах ИКМ для создания сигнала нужно выбрать некоторые значения речевых функций, затем подвергнуть их сжатию, квантованию, кодированию и, наконец, соответствующему перемешиванию. Системы вокодера, телевидение и частотная модуляция являются другими примерами сложных операций, применяемых к сообщению для получения сигналов.
3. Канал — это среда, используемая для передачи сигнала от передатчика к приемнику. Каналом может быть пара проводов, коаксиальный кабель, полоса радиочастот, луч света и т. д.
4. Приемник обычно выполняет операцию, обратную по отношению к операции, производимой передатчиком, восстанавливая сообщение по сигналам.
5. Адресат — это лицо (или аппарат), для которого предназначено сообщение.
Рассмотрим некоторые общие проблемы, относящиеся к системам связи. Для этого необходимо прежде всего представить различные элементы, входящие в эти системы, в виде математических понятий, идеализированных подходящим образом по сравнению с их физическими прообразами. Мы можем грубо разделить системы связи на три главные категории: дискретные, непрерывные и смешанные. Под дискретной системой будем понимать систему, в которой и сообщение и сигнал являются последовательностями дискретных символов. Типичным примером служит телеграфия, где сообщение представляется в виде последовательности букв, а сигнал — последовательности точек, тире и промежутков. Непрерывная система — это такая система, в которой и сообщение и сигнал рассматриваются как непрерывные функции, например радио или телевидение. Смешанная система — это такая система, в которой встречаются и дискретные и непрерывные переменные, например передача речи с помощью ИКМ. Рассмотрим сначала дискретную систему, — случай, имеющий применение не только в теории связи, но также в теории вычислительных машин, планировании телефонных станций и других областях. Кроме того, исследование дискретной системы образует основу для исследования непрерывной и смешанной систем, которые будут рассмотрены во второй части статьи.