8.3. Равномерный вход

Для канала, симметричного по входу, разумно использовать равномерное распределение на алфавите входных символов. Из соотношения (8.2.2) получаем, что для такого распределения

Применим (8.3.1) к двоичному коду длины обнаруживающее одну ошибку. Число входных символов равно поскольку (вследствие проверки на четность) допустимыми являются только половина двоичных последовательностей длины Ввиду наличия ошибок в канале на выходе можно получить любую двоичную последовательность.

(см. скан)

Имеем таблицу (в которой обозначает вероятность отсутствия ошибки) Но

Объединив слагаемые с одинаковой вероятностью, получим

Представим логарифм произведения в виде суммы двух логарифмов:

Первое слагаемое вносит вклад в сумму (8.3.2):

Второе слагаемое в (8.3.3) дает аналогичный вклад в сумму (8.3.2):

Объединив их, получаем

где использовано естественное обозначение

Поэтому взаимная информация (8.3.1) имеет вид