6.2.3. ТЕОРЕМЫ КОДИРОВАНИЯ ШЕННОНА ДЛЯ ДИСКРЕТНОГО КАНАЛА СВЯЗИ

Рассмотрим сначала теорему кодирования в канале без помех, который, очевидно, является частным случаем канала с помехами. Наилучшее кодирование состоит в том, что при заданном канале связи, который определяется объёмом алфавита и скоростью передачи канальных символов а также при заданном источнике информации, определяемом вероятностным распределением последовательностей, составленных из символов, принадлежащих алфавиту источника А, обеспечить наибольшую возможную скорость передачи символов источника Заметим, что содержательность проблемы кодирования в канале без помех определяется не только несовпадением объёмов алфавитов источника и канала, но также и тем обстоятельством, что если источник обладает памятью или его символы не равновероятны, то эти особенности можно существенно использовать для увеличения скорости передачи информации от данного источника. Конструктивные методы такого кодирования будут рассмотрены в следующей главе, а сейчас мы изучим асимптотические результаты, т.е. кодирование при неограниченных последовательностях символов источника и канала связи, сопоставляемых друг с другом. Для этого нам понадобится одна теорема, которая по существу является некоторой версией закона больших чисел, известного в теории вероятностей.