3.7. Двоичный симметричный канал

Чтобы лучше понять поведение соотношений (3.42) и (3.45) для произвольных ансамблей кодов, и в частности для ансамблей кодов с малой плотностью проверок, рассмотрим двоичный симметричный канал с вероятностью перехода которая приведена на рис. 3.1. Для такого канала интегралы в равенствах (3.43) и (3.44) сводятся к единственному члену, и мы

получаем

В приложении показано, что имеет максимум в области и этот максимум задается следующим образом:

где решение следующих двух уравнений с неизвестными

В уравнениях (3.65) и есть значение X, максимизирующее выражение

Значения при которых достигается максимум выражения (3.64), задаются неявно посредством равенств

Решение уравнений (3.65), (3.66) и (3.67) все еще требует совместного решения трех уравнений, два из

которых трансцендентны. Уравнения, однако, обла дают тем преимуществом, что не содержат переходной вероятности канала Поэтому, если решение уравнений существует, оно справедливо для всех переходных вероятностей в области

Из равенств (3.68) следует, что это та область для которой и 0. На рис. 3.4 дается геометрическая интерпретация экспоненты задаваемой выражением (3.64), как функции

Рис. 3.4. Геометрическая интерпретация экспоненты в двоичном симметричном канале.

Интересно отметить, что выражение (3.64) совпадает с выражением (3.54), которое задает экспоненту, полученную для равновероятного ансамбля, с тем исключением, конечно, что значения могут быть различными. Можно, кроме того, получить нижнюю оценку для лучшего возможного кода со скоростью можно показать [4], что равенства (3.53) и (3.54) связывают экспоненту и скорость для лучшего возможного кода. ственно сравнивать коды в ДСК по величине параметра Было получено решение уравнений (3.65),

(3.66) и (3.67) для некоторых улучшенных ансамблей кодов с малой плотностью проверок на четность, для которых функция оценивается выражением (2.20).

Рис. 3.5. Зависимость исправляющей способности -кодов от скорости в ДСК при больших

1. — нижняя граница максимума исправляемых при декодировании по методу максимума правдоподобия.

2. Верхняя граница максимума исправляемы

3. Нижняя граница максимума исправляемых при вероятностном декодировании.

На рис. 3.5 сравниваются скорости кодов с малой плотностью проверок на четность и скорость оптимального кода при одном и том же значении и потому при одинаковой экспоненте в области Интересно отметить, что сравнение рис. 2.4 и 3.5 указывает на то, что для этих кодов вероятность ошибки может убывать экспоненциально с ростом длины блока, даже если среднее число ошибок в блоке много больше минимального расстояния.

Таким образом, хотя ошибка декодирования и может произойти, когда число переходов в канале равно половине минимального расстояния, эта ошибка маловероятна до тех пор, пока число переходов не станет много больше минимального расстояния. Интересно также отметить, что, по-видимому, представляет собой наиболее вероятное расстояние между переданным и декодированным словом в том случае, когда произошла ошибка декодирования. Более точно: это расстояние, при котором оценка вероятности ошибки максимальна. Любопытно, что эта величина не меняется при изменениях между для достигает максимума при Это и не удивительно, поскольку из равенств (3.68) следует, что при Подставляя в равенство (3.61), после некоторых алгебраических преобразований получаем

При значение , минимизирующее выражение (3.70), в типичных случаях убывает вместе с до коэффициента минимального расстояния кода.

Предыдущие результаты получены для тех кодов и ансамблей кодов, для которых разрешимы уравнения (3.65), (3.66) и (3.67). К сожалению, они разрешимы не для всех кодов. Ни одно решение не соответствует тому случаю, когда максимизируется при Выражение (3.64) справедливо и в этом случае при но теперь равно а

Ко есть теперь отношение минимального расстояния к длине блока. Физически это означает, что существует так много кодовых слов на минимальном расстоянии, что маловероятно исправление ошибок, если число их превышает Примером может служить код всего с двумя словами, одно из которых служит дополнением другого.