7.1. Принципы передачи и приема информации при наличии помех

Рассмотрим некоторый канал связи. Его входную переменную (в выбранный момент времени), которую условно будем называть передаваемым символом или буквой, обозначим через х. Она может принимать дискретные значения из некоторого множества Удобно предполагать заданными также вероятности тогда х будет заданной случайной величиной.

Будем рассматривать канал с помехами. Это значит, что при фиксированном значении х переменная на выходе канала (в фиксированный момент) является случайной, т. е. описывается условными вероятностями Случайную величину у можно назвать принимаемым символом или буквой.

Предполагается, что процесс передачи буквы х и приема буквы у может совершаться многократно с теми же самыми вероятностями (хотя возможно обобщение на случай переменных вероятностей, см. теорему 7.2). Пусть букв образуют блок или слово, например

Желая передать по каналу какие-либо сообщения, мы естественно должны связать эти сообщения с входными словами при помощи некоторого кода. Тогда получатель на приемном конце, прочтя принимаемое слово и зная код, будет пытаться восстановить переданное сообщение.

Поскольку в канале имеются помехи, есть возможность, что получатель ошибется и примет не то сообщение, которое было передано. Код нужно подбирать из тех соображений, чтобы вероятность подобной ошибки была как можно меньше. Представляет принципиальный и практический интерес вопрос о том, чего можно добиться, выбирая хорошие коды, а также, какие коды являются хорошими и как их выбирать.

Особенно ясным является случай простых помех (см. § 6.1). В этом случае передаваемое сообщение, очевидно, нужно связывать с той или иной областью — подмножеством значений х, а значит и областью значений у. Для простых помех при передаче буквы х из области принимаемая буква у обязательно принадлежит области Поэтому, если сообщение сопоставлять с областями (или, что то же, с их номером к), то прием сообщений будет безошибочным несмотря на наличие помех в канале связи. При этом, конечно, число передаваемых сообщений не должно превышать число областей равное числу областей Каждая буква, очевидно, способна безошибочно передавать единиц информации (нат), а слово из букв — единиц. Попытка передать через канал больше информации неизбежно приведет к появлению ошибок.

Большой заслугой Шеннона является открытие того факта, что нечто аналогичное имеет место для произвольных (не простых) помех в асимптотическом случае Если количество информации, приходящееся на букву, меньше некоторого лредела, то вероятность ошибочного приема сообщения можно сделать в среднем сколь угодно малой, увеличивая длину слова, при использовании хорошего кода. Оказалось далее, что такие хорошие коды найти нетрудно: для этого достаточно выбирать кодовые слова наудачу случайным образом. Эти вопросы, а также приемы декодирования будут рассмотрены нами в настоящей главе.

Предполагая независимость процессов передачи последовательных букв, легко записать вероятности слов (7.1.1) через исходные вероятности

(в подобном случае будем говорить, что канал является степенью канала

Зададимся целью передать словами из букв М сообщений, т. е. передать количество информации Можно попытаться сделать это следующим образом. Из всех возможных слов типа выберем М различных слов

Их совокупность составит код, который должен быть известен как на передающем, так и на приемном конце канала. Каждое из М сообщений сопоставляется с одним из кодовых слов (7.1.3), скажем сообщение передается словом При этом слово на приемном конце может быть случайным, иметь разброс из-за действия помех. Ему соответствуют вероятности Приняв слово получатель информации еще не может сказать точно, что было передано слово а не если для обоих слов вероятности не равны нулю. Он может судить лишь об апостериорных вероятностях того или иного кодового слова. Если априорные вероятности всех М сообщений, а значит и всех кодовых слов считать одинаковыми (равными то по формуле обратной вероятности получим для кодового слова апостериорную вероятность

Если при фиксированном получатель информации выберет кодовое слово то с вероятностью он получит

правильное сообщение, а с Вероятностью ошибется. Чтобы минимизировать вероятность ошибки, он, очевидно, должен выбрать то слово которому соответствует максимальная (из М возможных) вероятность (7.1.4) или, что то же самое, максимальная функция правдоподобия Средняя вероятность Рот ошибки будет при этом получаться усреднением вероятности ошибки

(вследствие или

поскольку

Выбор максимальной функции правдоподобия из функций

очевидно, эквивалентен выбору максимальной случайной информации из множества

или выбору минимального «расстояния» из множества

если «расстояние» между точками определено формулой

Согласно описанному правилу декодирования получатель информации решает, что было передано то сообщение, которое связано с кодовым словом, «ближайшим» к полученному слову

Совокупность выходных слов 1], которые «ближе» к кодовому слову чем к какому-либо другому кодовому слову, обозначим Тогда при фиксированном коде множество значений разобьется на области декодирования и решение о том, какое сообщение было передано, будет производиться по принадлежности принятого слова той или иной области декодирования.

Схема кодирования и декодирования при некотором выбранном коде представлена на рис. 7.1. Как видно, используются не все входные слова а лишь кодовые слова

Передаваемое сообщение, по существу, совпадает с номером кодового слова, а принятое сообщение — с номером той области декодирования, которой принадлежит принятое слово.

Предположив, что код фиксирован, найдем условную и среднюю вероятность ошибки.

Рис. 7.1.

Схема кодирования и декодирования для капала с помехами.

При фиксированном сообщении k вероятность ошибки совпадает с вероятностью того, что точка , имеющая вероятности выпадает вне области т. е.

Поскольку внутри области (по определению этой области), то

Если теперь произвести усреднение

по всем сообщениям, каждое из которых имеет вероятность то сумма в (7.1.10) распространится на все пространство значений и мы получим формулу (7.1.5).