Глава 1. Основные понятия теории передачи дискретных сообщений

1.1. Сообщения, сигналы, каналы связи.

Всякое сообщение является некоторой совокупностью сведений о состоянии какой-либо материальной системы, которые передаются человеком (или устройством), наблюдающим эту систему, другому человеку (или устройству), обычно не имеющему возможности получить эти сведения из непосредственных наблюдений. Эта материальная система, вместе с наблюдателем, представляет собой источник сообщения. Для того чтобы сообщение было передано получателю, необходимо воспользоваться каким-либо физическим процессом. Изменяющаяся физическая величина (например, ток в проводе, электромагнитное поле, звуковые волны и т. п.), отображающая сообщение, называется сигналом. Совокупность средств, предназначенных для передачи сигнала, называется каналом связи. Здесь под «средством» можно понимать как устройство, так и физическую среду, в которой распространяется сигнал. Сигнал принимается получателем. Зная закон, связывающий сообщение и сигнал, получатель может выявить содержащиеся в сообщении сведения. Для получателя сообщения сигнал заранее не известен, и поэтому он является случайным процессом.

Помимо передаваемого сигнала в канале всегда присутствуют другие случайные процессы различного происхождения, называемые помехами или шумами. Наличие помех вызывает принципиальную неоднозначность в восстановлении сообщения.

Канал связи вместе с источником сообщения и его получателем при заданных методах преобразования сообщения в сигнал и восстановления сообщения по принятому сигналу называется системой связи.

Иногда канал используется для передачи сообщений от нескольких источников нескольким получателям. Такой канал называется уплотненным и будет рассмотрен в гл. 9.

Рис. 1.1. Схема системы связи.

На рис. 1.1 представлена в самом общем виде схема системы связи. Здесь под передающим устройством понимается вся аппаратура, осуществляющая преобразование сообщения в сигнал, а под приемным устройством — аппаратура, восстанавливающая сообщение. В состав канала может также входить аппаратура, например ретрансляционные усилители.

Рис. 1.2. К определению канала.  

Заметим, что понятие «канал» не является строго определенным. Пусть, например, сигнал, передаваемый из точки  в точку  (рис. 1.2), проходит последовательно через некоторые звенья  которые могут представлять собой, например, усилители, отрезки кабеля, среду, в которой распространяются электромагнитные или акустические колебания, и т. д. Можно всю совокупность этих звеньев называть каналом. По можно считать каналом часть звеньев, например от  до , отнеся звенья  и  к передающему устройству, а звено  — к приемному. В общей теории связи удобно называть каналом любую часть системы связи, которую по условиям решаемой задачи невозможно или нежелательно изменять. В этом смысле мы и будем понимать термин «канал».

С математической точки зрения задать канал — значит указать, какие сигналы можно подавать на его вход и каково распределение вероятностей сигнала на его выходе при известном сигнале на входе. Общей задачей теории связи является нахождение таких методов преобразования сообщения в сигналы данного канала и обратного преобразования принятого сигнала в сообщение, при которых обеспечивается в некотором смысле наилучшая передача сообщений.

Любая реальная материальная система, входящая в источник сообщений, может иметь непрерывный ряд состояний. Однако сведения, передаваемые о ней, никогда не исчерпывают всех особенностей состояния и могут во многих случаях образовывать дискретное (т. е. конечное или счетное) множество . В этом случае говорят, что источник сообщений является дискретным.

Для того чтобы судить о том, является ли некоторый источник сообщении дискретным или непрерывным, необходимо, выбрав конечный интервал времени длительностью , рассмотреть все множество сообщений , которое данный источник мог бы создавать за это время. Если это множество конечно, то источник сообщений является дискретным, в противном случае он непрерывный.

Разумеется, с ростом  увеличивается и число различных сообщений , которое может создать дискретный источник, причем это число для любых источников возрастает приблизительно по экспоненциальному закону [7]. Поэтому если не ограничивать интервал времени , то множество  окажется всегда бесконечным. Однако для дискретного источника сообщений оно всегда будет счетным. Это значит, что все мыслимые сообщения можно расположить по некоторому закону в ряд и перенумеровать. Так, например, для источника, создающего сообщения в виде текста, записанного, скажем, русским алфавитом, можно разделить все возможные сообщения на группы, отличающиеся количеством букв в сообщении, расположить эти группы в порядке возрастания числа букв, а внутри каждой группы расположить сообщения в алфавитном порядке и полученную последовательность сообщений пронумеровать. Следовательно, такой источник сообщений является дискретным. Любые два сообщения этого источника, если они не тождественны, отличаются по меньшей мере одной буквой.

Примером непрерывного источника является устройство, передающее результат измерения какой-либо непрерывной величины, скажем атмосферного давления в некотором месте. Если два сообщения такого источника не тождественны, то они могут отличаться друг от друга сколь угодно мало. При этом, как бы мало не отличалось сообщение  от сообщения , всегда возможно некоторое сообщение , которое будет отличаться от  еще меньше, чем . Такое множество сообщений образует континуум и не может быть пронумеровано.

Однако этот непрерывный источник превратится в дискретный, если наложить на него два ограничения. Во-первых, он должен выдавать сообщение о величине атмосферного давления в определенные, заранее обусловленные, моменты времени. Во-вторых, он должен округлять измеренные значения с определенной точностью (скажем, до 0,01 мм рт. ст.). Легко убедиться, что такой видоизмененный источник оказывается дискретным. В то же время, если указанные моменты времени расположены достаточно часто, а точность приближенного представления достаточно велика, то с точки зрения практики такой дискретный источник нисколько не уступает непрерывным. Тем не менее к дискретизации или квантованию сообщения прибегают далеко не всегда. Так, например, источник, передающий величину звукового давления перед микрофоном (в телефонии или в радиовещании), остается в большинстве случаев непрерывным.

В настоящей работе рассматриваются только сообщения, создаваемые дискретными источниками, которые для краткости называются дискретными сообщениями.

Как дискретные, так и непрерывные источники, можно подразделить на два типа: источники с управляемой скоростью и источники с фиксированной скоростью [3]. В источниках первого типа сообщения хранятся в записанном виде и выдаются по требованиям передающего (кодирующего) устройства. В источниках второго типа сообщения выдаются в некоторые моменты времени, определяемые самим источником и не зависящие от работы передающего устройства.

Примерами источников с управляемой скоростью являются текст телеграммы, подлежащей передаче по телеграфной линии связи, бланк фототелеграммы, перфорированная лента и т. д. Примерами источника с фиксированной скоростью являются многие датчики в телеметрических системах, электронные вычислительные машины, человек, говорящий перед микрофоном, сцена, передаваемая по телевидению, и т. д.

Часто между источником с фиксированной скоростью и передающим устройством включается элемент буферной памяти. Если емкость буферной памяти беспредельно увеличивать, то условия передачи сообщений приближаются к тем, которые имеют место при источниках с управляемой скоростью.