10.3. Двоичный симметричный канал

Докажем теперь основную теорему Шеннона для двоичного симметричного канала. Для одного двоичного символа имеем стандартную диаграмму переходов (рис. 10.3.1):

Рис. 10.3.1

(см. скан)

Напомним, что вероятность правильной передачи. Естественно предположить, что поскольку, если можно просто поменять местами символы и 1 в В.

Для расширения канала (см. разд. 8.2) нужно выбрать двоичных символов. Например, для третьего расширения (восьмеричный код) имеется код с исправлением одной ошибки (при приеме по максимуму правдоподобия)

Ошибки отсутствуют: Одна ошибка: (исправляется) Две ошибки: Три ошибки:

Если (надежность получаем

Таким образом, в этом случае приемник максимального правдоподобия работает по расстоянию Хэмминга. Это справедливо также в случае белого шума для любого кода: минимальное расстояние Хэмминга задает приемник максимального правдоподобия. В случае, если на одинаковом минимальном расстоянии от принятого символа находятся сразу два сообщения, мы как бы отказываемся и выбираем любое одно из них или бросаем монету и случайно выбираем одно из двух сообщений (правильно поступая в половине случаев). В случае, если на одинаковом расстоянии находится более двух сообщений, по-прежнему можно выбирать сообщение методом случайного выбора.

Ясно, что расширение двоичного симметричного канала является каналом, симметричным по входу. Однако на практике такой канал можно использовать разными способами.