7. ДИСКРЕТНЫЕ ПО ВРЕМЕНИ КАНАЛЫ БЕЗ ПАМЯТИ

7.1. ВВЕДЕНИЕ

В гл. 4 и 5 для дискретных каналов без памяти были доказаны теорема кодирования и ее обращение. Под дискретными понимались каналы, в которых вход и выход были временными последовательностями букв, выбранных из конечного алфавита. В этой главе результаты гл. 4 и 5 будут обобщены на случай, когда входные и выходные алфавиты бесконечны. Простейшим и наиболее важным примером такого обобщения является случай, когда входной и выходной алфавиты образованы множествами действительных чисел и канал статистически описывается условной плотностью вероятности Предполагается, что канал является каналом без памяти, т. е. что если последовательность N входных символов, то для соответствующей выходной последовательности условная плотность вероятности задается равенством

Другими словами, каждая выходная буква статистически зависит только от соответствующей входной буквы и эта статистическая зависимость остается неизменной во времени (т. е. не меняется от положения в последовательности).

В общем случае дискретный по времени канал без памяти задается произвольным входным пространством X, произвольным выходным пространством и для каждого элемента х входного пространства условной вероятностной мерой на выходе Входом канала является последовательность букв входного пространства, выходом — последовательность букв выходного пространства и каждая выходная буква зависит вероятностно только от соответствующей входной буквы; эта зависимость задается вероятностной мерой (т. е. так же как и в гл. 4 для любого заданного величины условно не зависят от всех других входов и выходов).

Развиваемый здесь общий подход к изучению таких каналов состоит в том, чтобы ограничиться использованием конечного множества

букв входного алфавита, скажем и разбиением выходного пространства на конечное множество непересекающихся событий, скажем объединение которых образует все выходное пространство. Тогда в принципе можно построить квантующее устройство, для которого вхрдом в каждый момент времени является выход канала у, а выходом — событие содержащее у. Канал и квантующее устройство в совокупности образуют дискретный канал без памяти с переходными вероятностями Изучение первоначального канала будет основано на рассмотрении поведения всех таким образом полученных дискретных каналов без памяти. Такой подход имеет преимущество в том, что он тесно связан со способами физического использования канала и в легкости аналитического исследования.

При изучении таких каналов возникает новая проблема, связанная с ограничениями на входы канала. Рассмотрим канал примера 4 гл. 2, в котором выход канала образован суммой входа и независимой гауссовой случайной величины

Согласно (2.4.36), если вход — гауссовская случайная величина с дисперсией

При произвольно большом количество информации становится сколь угодно большим и, выбирая сколь угодно большое множество входов, разнесенных сколь угодно далеко по амплитуде, видим, что, по существу, без кодирования может быть достигнута произвольно высокая скорость передачи при произвольно малой вероятности ошибки. Однако если рассмотреть эти входы как выборки переданных непрерывных сигналов, то можно заметить, что этот результат получается при использовании сколь угодно большой мощности. Для этого канала и для обширного класса каналов, связанных с этим примером, мы можем получить физически важные и математически интересные результаты, если зададим ограничения на входы канала, Простейшим при нашем подходе типом ограничений, накладываемых на вход канала, является ограничение на амплитуду: входной алфавит просто ограничен значениями х, меньшими или равными некоторому фиксированному числу А. Если входное пространство определено как интервал от до то это ограничение можно не учитывать. Более общий и важный тип ограничения — ограничение на энергию. Этот тип ограничения будет точно описан позднее, однако сущность его состоит в том, что вход канала должен иметь среднеквадратическое значение, не большее некоторого фиксированного числа Этот тип ограничений касается не входного пространства, а относительных частот, с которыми различные входы могут быть использованы. Как будет показано в следующей главе, ограничение на энергию является естественным при представлении непрерывного по времени

канала в виде параллельного соединения каналов с дискретным временем.

В следующих параграфах сначала будет проведено исследование каналов без ограничении (или при наличии амплитудных ограничений) на входы, затем каналов с ограничениями на входы и затем изучено несколько примеров, в том числе важный пример канала с аддитивным гауссовым шумом.