Глава 7. ПЕРЕДАЧА СООБЩЕНИЙ ПРИ НАЛИЧИИ ПОМЕХ. ВТОРАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА В РАЗЛИЧНЫХ ФОРМУЛИРОВКАХ

В этой главе приводятся важнейшие асимптотические результаты, касающиеся существования оптимальных кодов для каналов с помехами. Доказывается, что шенноновское количество информации является границей для асимптотически безошибочно передаваемого хартлиевского количества информации. В этом состоит вторая асимптотическая теорема. Приводятся формулы, показывающие быстроту убывания вероятности ошибки декодирования при увеличении длины блока. Изложение этих результатов в отличие от общепринятого ведется в терминах шенноновского количества информации, а не пропускной способности (т. е. не производится максимизация предельного количества информации по распределению вероятностей входной переменной).

Теоремы 7.1, 7.3, 7.5 последовательно усиливают одна другую. Такое расположение целесообразно потому, что в таком виде легче знакомиться с этим материалом. С точки зрения результатов каждая из них, конечно, делает излишними предыдущие. Усиление результатов, однако, достигается усложнением доказательства. Имеет некоторое основание та точка зрения, что это усложнение не окупается значимостью усиления (переход от теоремы 7.3 к значительно более сложной теореме 7.5 мало сказывается на поведении коэффициента а в области, где близко к мы излагаем все эти теоремы, чтобы читатель по желанию мог остановиться на любой из них.

Все указанные результаты могут быть распространены со случая блоков из независимых одинаково распределенных случайных величин на случай произвольного семейства информационноустойчивых случайных величин. Это обобщение производится стандартным способом, и мы касаемся его лишь один раз (в теореме 7.2).

Изложение в настоящей главе ведется в простейшем дискретном варианте, однако результаты имеют общее значение. Распространение их на общий случай связано, по существу, лишь с изменением способа записи формул.