5. Распределение информации

Применяемый здесь метод основан на случайном кодировании и методе, подобном тому, который развит в работе для односторонних каналов. Рассмотрим -кратное использование канала или, говоря математически, произведение вероятностных пространств. На вход поступают величины а на выходе появляются , т. е. последовательности по букв из соответствующих алфавитов.

Условные вероятности для этих блоков равны

Здесь использовалось предположение о том, что рассматривается канал без памяти, т. е. последовательные символы передаются независимо. Вероятностную меру на входных блоках и также определим как произведение мер, заданных на Таким образом,

Отсюда уже следует, что другие вероятности также являются произведениями соответствующих вероятностей для отдельных букв. Так, например,

Взаимная (неусредненная) информация между и парой может быть записана в виде суммы

Таким образом, взаимная информация многомерных величин, как это обычно бывает в случае независимых величин, является суммой взаимных информаций одномерных величин. Так же, как обычно, можно считать, что взаимная информация является случайной величиной: которая принимает свои значения с вероятностями Функцию распределения для обозначим через а для через

Так как каждая из случайных величин является суммой независимых одинаково распределенных случайных величин, имеем обычные условия, когда можно применить различные варианты центральной предельной теоремы и закона больших чисел. Средние значения распределений равны соответственно а дисперсии — соответствующим дисперсиям для одной буквы, умноженным на При для любого фиксированного аналогичное положение имеет место и для На самом деле, стремление к нулю является экспоненциальным по и определяется неравенством .