II. ДИСКРЕТНЫЙ КАНАЛ С ШУМОМ
11. Представление дискретного канала с шумом
Рассмотрим теперь случай, когда в процессе передачи сигнал искажается шумом. Это означает, что принятый сигнал не обязательно совпадает с сигналом, посланнык передатчиком. Можно различать два случая. Если из определенного переданного сигнала всегда получается один и тот же принятый сигнал, т. е. принятый сигнал является определенной функцией от переданного сигнала, то такое явление может быть названо искажением. Если эта функция имеет обратную, т. е. никакие два переданных сигнала не создают один и тот же принятый сигнал, то искажений может быть скорректировано, по крайней мере в принципе, просто путем выполнения обратной функциональной операции над принятым сигналом.
Нас здесь будет интересовать случай, когда сигнал при передаче испытывает не всегда однаковые изменения. В этом случае можно считать, что принятый сигнал 
является функцией переданного сигнала 5 и второй переменной — шума 
Шум рассматривается как случайная переменная, точно так же, как выше рассматривалось сообщение. В общем случае шум может быть представлен соответствующим стохастическим процессом. Наиболее общий тип дискретного канала с шумом, который мы рассмотрим, является обобщением ранее описанного канала без шума с конечным числом состояний. Предположим, что число состояний конечно, и имеется множество вероятностей:
Это есть вероятность того, что если канал находится в состоянии а и передается символ 
то будет принят символ 
и канал перейдет в состояние 
Таким образом, осир пробегают все возможные состояния, 
— все возможные передаваемые сигналы, а 
— все возможные принимаемые сигналы. В том случае, когда последовательно передаваемые символы искажаются шумом независимо, имеется только одно состояние и канал описывается множеством переходных вероятностей 
(вероятностей того, что переданный символ 
будет принят как 
Если канал с шумом питается некоторым источником, то имеются два статистических процесса: источник и шум. Поэтому имеется несколько энтропий, которые могут быть вычислены. Во-первых, существует энтропия источника или энтропия входа канала 
(они равны, если передатчик невырожденный). Энтропия выхода канала, т. е. принятого сигнала, будет обозначаться через 
. В случае отсутствия шума 
Совместную энтропию входа и выхода обозначим 
Наконец, имеются две условные энтропии 
(энтропия выхода, когда вход известен, и наоборот). Эти величины связаны соотношениями
Все эти энтропии могут измеряться как энтропии на одну секунду или на один символ.
