8.2. Канал, симметричный по входу

Из равенств (7.6.8) получаем следующее выражение для взаимной информации:

Из соотношения (7.5.6) имеем

В случае кодов, обладающих высокой степенью симметрии, например кода с проверкой на четность и с обнаружением ошибок, совершенный код с исправлением ошибки, каждое кодовое слово (здесь оно рассматривается как входной символ) в некотором смысле эквивалентно любому другому кодовому слову; вероятности ошибок различных слов совпадают. Например, каждое кодовое слово можно перевести в слово (в двоичной системе), меняя каждый единичный символ этого слова на нулевой. Если в канале имеется белый шум (а большинство кодов предназначены именно для таких каналов), то элементы каждой строки матрицы канала получаются перестановкой элементов первой строки. Множества переходных вероятностей для каждого символа совпадают.

Предполагая, что каждая строка является перестановкой первой строки, получаем, что сумма

не зависит от а. Независимо от того, какой символ а был выбран, эта усредненная величина будет одна и та же. Поэтому можно просуммировать по всем символам алфавита В и получить

Поэтому естественно ввести следующее определение.

Определение. Матрица канала, симметричного по входу, имеет вид

где каждая строка является некоторой перестановкой первой строки.

Предположим, что канал представляет собой расширение двоичного симметричного канала. Каждый символ канала является блоком из двоичных символов, а каждый двоичный символ выбирается независимо от других с вероятностью успеха (и вероятностью неудачи При таком определении коды с обнаружением ошибок и совершенные коды с исправлением ошибок соответствуют каналам, симметричным по входу.

В качестве тривиального примера рассмотрим канал без шума, в котором каждый входной символ а переходит ровно в один выходной символ другими словами, для каждого а ровно одна вероятность равна 1, а остальные равны 0. Таким образом, каждое слагаемое имеет вид

Поэтому что и следовало ожидать.