1.5. Кодирование на входе и декодирование на выходе канала

В разд. 1.3 мы видели, что без какой-либо потери общности передаваемую по каналу информацию можно представить последовательностью двоичных символов. Поэтому процесс передачи характеризуется следующими двумя параметрами:

1. Скоростью передачи измеряемой числом двоичных символов в секунду на входе кодера кинала.

2. Правильностью приема, определяемой вероятностью ошибки на символ т. е. вероятностью того, что любой данный двоичный символ будет ошибочно воспроизведен декодером канала.

Теорема, устанавливающая ограничения, накладываемые на эти два параметра, определяемые характеристиками канала передачи, впервые была сформулирована и доказана Шенноном в 1948 г. В дальнейшем она была обобщена и уточнена как самим Шенноном, так и другими авторами. Эта теорема — наиболее важный и наиболее неожиданный результат теории. В первом приближении ее можно сформулировать следующим образом.

Для любого стационарного канала с конечной памятью можно определить пропускную способность С, имеющую следующий смысл. При любой скорости передачи двоичных символов меньшей чем С, вероятность ошибки на символ можно сделать произвольно малой путем надлежащего конструирования кодера и декодера канала, и обратно, вероятность ошибки не может быть сделана произвольно малой, когда больше чем С.

Другими словами теорема утверждает, что наличие случайных помех в канале само по себе не накладывает каких-либо ограничений на точность передачи. Скорее оно накладывает ограничение на скорость передачи двоичных символов, при которой может быть достигнута сколь угодно высокая точность их воспроизведения.

Рассмотрим операции кодирования и декодирования, необходимые для достижения исчезающе малой вероятности ошибки при конечной скорости передачи. Двоичные символы, поступающие на вход кодера (см. рис. 1.6), проходят через него таким образом, что в любой момент времени в нем хранится

таких символов. В свою очередь двоичные символы на выходе из кодера в любой момент времени зависят от хранящихся в нем символов. При этом, конечно, между возможными комбинациями двоичных символов на выходе кодера и множеством сигналов, которые могут поступать в канал, должно существовать взаимно однозначное соответствие. Например, если сигналами будут отрезки синусоиды фиксированной амплитуды и нужным образом выбираемой частоты, то на выходе кодера должна быть образована последовательность символов, указывающая частоты последовательных синусоид.

Рис. 1.6. Кодирование и декодирование двоичных символов.

Важно заметить, что если скорость передачи двоичных символов, то каждый двоичный символ остается в кодере в течение секунд. Таким образом, каждый двоичный символ влияет на выходную последовательность кодера в течение временного интервала

Задача декодера состоит в определении переданных двоичных символов по сигналу на выходе канала. Так как каждый переданный двоичный символ влияет на последовательность на входе канала в течение времени то декодер должен обследовать выходную последовательность канала в том же промежутке времени и принять решение: был ли передан символ единица или символ нуль. Поскольку нашей целью является минимизация вероятности ошибки, декодер в каждый момент порождает наиболее вероятный из двух символов. Если пренебречь задержками в канале, то, как легко видеть, между моментом, когда некоторый символ поступает в кодер, и моментом, когда этот же символ воспроизводится декодером, проходит секунд — время, соответствующее передаче двоичных символов.

Вероятность ошибки на символ сильно зависит от числа двоичных символов, хранимых в кодере, а также от скорости передачи и пропускной способности С. Мы увидим, что выражение для вероятности ошибки в случае канала с конечной памятью имеет следующий общий вид:

Множитель К — медленно меняющаяся функция Коэффициент а не зависит от и является функцией скорости передачи двоичных символов и характеристик канала. В общем виде его зависимость от изображена на рис. 1.7. Коэффициент а положителен при всех значениях меньших чем С.

При значения а и его производной равны нулю. Таким образом, для любого значения меньшего С, вероятность ошибки убывает экспоненциально при росте Асимптотика задается формулой

Рис. 1.7. Поведение экспоненциального коэффициента а как функции скорости передачи.

Происхождение экспоненциального убывания вероятности ошибки с ростом полностью объяснить на этом этапе изложения не представляется возможным. Однако некоторую ясность могут внести следующие соображения.

Мы видели, что решение о каждом символе, выходящем из декодера, принимается на основе наблюдения сигнала на выходе канала в течение времени соответствующего передаче двоичных символов. Отсюда следует, что помехи, действующие в канале, будут препятствовать правильному приему каждого двоичного символа в течение того же интервала

Предположим, например, что канал представлен моделью рис. 1.3. Тогда действие помех на передачу каждого двоичного символа измеряется долей импульсов, неправильно принимаемых за время Когда возрастает, в силу закона больших чисел, эта доля сходится по вероятности к условной вероятности указанной на рис. 1.3. Другими словами, вероятность того, что доля неправильно принимаемых импульсов будет

превосходить на любую заданную величину, стремится к нулю, когда возрастает. В этом случае вероятность ошибки будет стремиться к нулю при возрастающем если только код позволяет исправлять долю неправильно принимаемых импульсов, большую чем Эта аргументация может быть обобщена на другие каналы, если определить подходящим образом меру эффективности помех.

Центральный и наиболее трудный вопрос касается интенсивности действующих в канале помех (доли искаженных импульсов в приведенном выше примере), допустимых при заданных значениях На рис. 1.6 видно, что наряду с тем, что каждый символ в течение секунд влияет на образование входного сигнала, тот же отрезок сигнала подвергается влиянию следующих символов. Естественно ожидать, что при фиксированном интенсивность допустимых помех, действующих в канале, убывает с возрастанием Это в самом деле имеет место и служит причиной того, что коэффициент а в показателе (1.3) убывает с ростом как показано на рис. 1.7. Удивительным является тот факт, что для любой фиксированной скорости передачи интенсивность допустимой помехи приближенно может считаться независящей от следовательно, от Это-то как раз и позволяет для любой фиксированной скорости передачи, меньшей пропускной способности канала, получить вероятность ошибки, стремящуюся к нулю с возрастанием

К сожалению, этот основной результат не может быть более полно разъяснен или сделан более правдоподобным с помощью простых эвристических рассуждений.