ГЛАВА 6. ПОТЕНЦИАЛЬНЫЕ ВОЗМОЖНОСТИ ПЕРЕДАЧИ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ (ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ)

6.1. ПРОБЛЕМА ОБЕСПЕЧЕНИЯ СКОЛЬ УГОДНО ВЫСОКОЙ ВЕРНОСТИ ПЕРЕДАЧИ ДИСКРЕТНЫХ СООБЩЕНИЙ В КАНАЛАХ С ПОМЕХАМИ

Ранее в гл. 5 был синтезирован оптимальный приёмник дискретных сообщений для канала с полностью известными сигналами и аддитивной помехой в виде белого шума. Там же было показано, что вероятность ошибки -ичного символа (определяющая верность приёма) минимизируется при выборе системы сигналов в виде -мерного симплекса. (В действительности при достаточно большой величине почти такую же вероятность ошибки будет давать система из взаимно ортогональных сигналов.) Как для симплексных, так и для ортогональных сигналов величина вероятности ошибки при оптимальном приёме однозначно определяется числом этих сигналов и параметром где энергия элемента сигнала, спектральная плотность белого шума на положительных частотах. Отсюда, казалось бы, можно однозначно сделать вывод, что неограниченное повышение верности передачи сообщений (т.е. убывание вероятности ошибки к нулю) может быть получено только за счёт неограниченного возрастания энергетического параметра . В частности, если спектральная плотность мощности белого шума а также средняя мощность сигнала заданы, то это может происходить только при стремлении к нулю скорости передачи (символов) поскольку а

Вопрос о том, можно ли в таком канале обеспечить при представляется поэтому, на первый взгляд, не имеющим смысла. Тем не менее оказывается, что ответ на него положителен, однако лишь при выполнении определённых условий. Ключевым моментом решения этой проблемы является увеличение числа возможных симплексных (или ортогональных) сигналов

Пусть используются взаимно-ортогональные сигналы и их количество где к целое положительное число. Тогда при помощи каждого такого ортогонального сигнала длительности можно передать к двоичных сигналов или (если каждый из них несет максимальное количество информации 1 бит (см. ниже)) к бит. Если какой-либо двоичный источник сообщений подключён к такому модулятору, то он может без растущей во времени задержки передавать эти сообщения с информационной скоростью Используя аддитивную границу для вероятности ошибки ортогональных -ичных сигналов (см. (5.59)), получаем

где

Можно показать, что для любого справедливо следующее неравенство:

Подставляя (6.2) в (6.1) и проделывая элементарные преобразования, находим что

Анализируя (6.3), получаем, что при если выполнено условие отрицательности показателя экспоненты, что эквивалентно следующему неравенству:

Итак, мы совершенно строго вывели достаточное условие для положительного ответа на сформулированный ранее вопрос, что на первый взгляд казалось невозможным.

Первым человеком, "удивившим" инженеров-связистов такой возможностью — абсолютно надёжно передавать информацию по каналам связи с помехами не за счёт увеличения мощности сигнала или уменьшения скорости передачи, а за счёт усложнения методов модуляции-демодуляции, был американский учёный Клод Эльвуд Шеннон. Сделал он это в своей замечательной работе "Математическая теория связи", опубликованной в 1948 г. Мы по существу доказали "сильно ослабленный" вариант так называемой теоремы кодирования Шеннона, поскольку нашли лишь достаточные условия и причём только для одной модели непрерывного канала связи — с неограниченной полосой частот, поскольку при имеем Следовательно, количество сигналов и полоса частот, занимаемая такими сигналами, тоже всегда стремятся к Шеннон же нашёл необходимые и достаточные условия убывания вероятности ошибки до нуля. (В дальнейшем мы покажем, что правая часть неравенства (6.4) может быть увеличена в 2 раза.) Кроме того, он сделал это для различных моделей каналов, в частности с ограниченной полосой частот, для фиксированного числа форм сигналов для источников с неравновероятными или с зависимыми символами (так называемых избыточных источников), для источников непрерывных сообщений, для критериев верности приёма дискретных сообщений, отличных от вероятности ошибки символа и т. д. Всё это и составило сущность теории информации.

Заметим, что теория информации является также своего рода философией связи. Понятия, введённые в рамках этой теории, нашли применение и вне проблем связи, например в искусстве и медицине. Однако для инженера-связиста важно не столько понимать определения теории информации, сколько уметь при необходимости пользоваться теоремами кодирования, которые определяют потенциальные возможности каналов связи, заданных, в свою очередь, некоторыми ограничениями. Последующие разделы этой главы и будут в основном ориентированы на данную проблематику.