Действительно, для четырех случайных величин 
имеем
Исходя из интуитивных соображений и аналогии с односторонними каналами, можно определить скорость передачи от первого конца к второму как 
т. е. разность между неопределенностью, или энтропией 
и условной энтропией 
при условии, что известны величины, доступные на втором конце, а именно величины 
Таким образом, можно написать
Эти выражения при заданных распределениях вероятностей на входах канала представляют собой информацию между входом на одном конце и парой вход — выход на другом. Можно ожидать, что при соответствующем кодировании возможно вести передачу по обоим направлениям одновременно с произвольно малыми вероятностями ошибок со скоростями, как угодно близкими к 
Обобщая случай односторонних каналов, можно предположить, что построение таких кодов надо основывать на использовании распределений вероятностей 
, действительно, покажем, что, основываясь на вероятностях 
можно найти коды, обладающие такими свойствами.
Однако область пропускной способности может быть больше, чем совокупность скоростей, которые можно получить таким способом. Грубо говоря, различие вытекает из того, что случайные величины 
могут оказаться зависимыми. В этом случае соответствующие взаимные информации даются выражениями
Приведенные выше формулы для 
сводятся, конечно, к этим, когда 
независимы.
где 
являются входными буквами соответственно первого и второго конца канала, 
соответствующие буквы на его выходах. Каждая из этих букв принимает значение из соответствующего конечного алфавита.
букв из алфавитов 
то можно определить соответствующие распределения вероятностей 
для букв из алфавитов 
