ИТОГИ И ВЫВОДЫ

В этой главе была исследована вероятностная модель канала связи. Для моделей дискретного канала без памяти и моделей канала с конечным числом состояний была определена пропускная способность как максимум средней взаимной информации. Основной результат главы составляет обращение теоремы кодирования, которое утверждает, что если скорость источника (т. е. энтропия источника в битах на единицу времени) превосходит пропускную способность канала (в битах а рдиницу времени), то надежная передача по каналу невозможна. Было сделано некоторое введение в теорию выпуклых функций, которые являются полезным инструментом при изучении всей теории информации, и было показано, как применить эту теорию при отыскании пропускной способности дискретного канала без памяти. Для канала с конечным числом состояний были даны два имеющих смысл определения пропускной способности и показано, что они совпадают друг с другом для неразложимых каналов.

ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ

Общие идеи этой главы и их развитие принадлежат Шеннону (1948). Обращение теоремы кодирования (теорема 4.3.4) получено Галлагером (1964) и основано на теореме 4.3.1, полученной Фано (1952). Рейффен (1966) отметил, что теорема 4.3.4 может быть применена не только к источникам без памяти, но и к источникам с памятью. Теорема 4.4.1 является, по существу, частным случаем общего результата Куна и Тюкера (1951), относящегося к выпуклому программированию. Его применение к вычислению пропускной способности канала было независимо предложено Эйзенбергом (1963) и Галлагером (1962), однако необходимость условия (4.5.1) в теореме 4.5.1 была доказана Шенноном (1948).

Первая часть теоремы 4.6.1 и вторая часть теоремы 4.6.2 принадлежат Юдкину (1967), хотя Блекуэлл, Брейман и Томасян (1958) установили ранее слабое обращение теоремы кодирования для неразложимых ККЧС. (Неразложимые каналы Блекуэлла, Бреймана и Томасяна образуют тот же класс каналов, что и неразложимые каналы, рассмотренные здесь. Читатель может проверить это, если после прочтения статьи Блекуэлла, Бреймана и Томасяна он заметит, что, если цепь Маркова имеет периодическое множество состояний с периодом то степень матрицы соответствует разложимой цепи с по крайней мере замкнутыми множествами состояний.) Последняя часть теоремы 4.6.3 была доказана Томасяном (1963).