7.2. Информационный канал

Информационный канал — это статистическая модель среды, через которую сигнал проходит или в которой он хранится. На практике имеются физические ограничения на точность, с которой может вестись передача. Для того чтобы вычислить, сколько информации можно передать по данному каналу, нужно формализовать понятие канала и физических ограничений.

На рис. 7.2.1 показано, что понимается под каналом. Канал описывается множеством условных вероятностей того, что входной символ из алфавита, содержащего букв, перейдет в выходной символ из алфавита, содержащего букв. Для Переходных вероятностей канала будет использоваться прописная буква Объемы входного и выходного алфавитов не обязаны совпадать.

Рис. 7.2.1. Канал

Например, в случае кода с исправлением ащнб алфавит возможных принимаемых символов много больше, алфавит посылаемых символов, следовательно, Вместе с тем канал может выдавать один тот же символ, когда на вхоч подается один из некоторый двух различных символов; в этом случае

В рассматриваемой модели канал полностью описывается матрицей условных вероятностей Заметим, что, как обычно, индексы записаны в обратном порядке. Строка матрицы содержит вероятности того, что данный входной символ перейдет в каждый из выходных символов Эта матрица показана на рис. 7.2.1.

Переходная матрица канала обладает следующими свойствами: 1) ее строка соответствует входному символу 2) ее столбец соответствует выходному символу 3) сумма элементов строки равна 1, т. е. Это означает, что каждый входной символ обязательно перейдет в некоторый выходной символ, и — распределение вероятностей переходов; 4) если - вероятность появления входного символа то

Это означает, что если в систему ввести какой-либо символ, то какой-то символ из нее обязательно выйдет.

Вероятности полностью характеризуют канал. При этом, конечно, предполагается, что канал стационарен, т. е. вероятности не меняются со временем. В течение некоторого времени будем считать возникающие ошибки независимыми друг от друга.