Глава 8. Пропускная способность канала
8.1. Определение пропускной способности канала
Пусть заданы условные вероятности 
определяющие канал. Чему равно наибольшее количество информации, которое можно передать по такому каналу? Этот вопрос является основным в данной главе.
Взаимная информация связывает оба конца канала. Она определяется равенством (7.6.8).
где 
неопределенность источника до приема В, а 
неопределенность источника после приема В. Таким образом, 
выражает изменение количества информации. Другое выражение для 
задается соотношением (7.6.7)
в котором опущены индексы и очевидным образом обозначены Множества, по которым производится суммирование.
примере двоичного симметричного канала было показано (см разд. 7.4), что неудачный выбор 
для данного канала может сделать бессмысленной 
работу. Ясно, например, что если вероятность одного из символов равна 1, то вероятность всех други равна 0, а постоянный сигнал не содержит информации. Как выбрать значения 
при которых по каналу передается наибольшее количество информации, и чему оно равно?
и используем следующий стандартный математический прием: определим пропускную способность канала как максимальное количество информации по всем возможным выборам 
а нахождение соответствующего распределения 
откладывается на более позднее время. Вероятности 
определяются по 
с помощью соотношений (7.3.1). При этом не возникает вопроса, как получить взаимную информацию, превосходящую пропускную способность канала С, поскольку по определению С является максимальным значением информации.
