3.5. Pe для кодов и ансамблей кодов

Рассмотрим теперь вероятность ошибки для всего кода. Пусть есть число кодовых слов на расстоянии от слова Тогда ввиду неравенств (3.18) и (3.28) вероятность ошибки декодирования при равновероятном использовании кодовых слов выражается следующим образом:

при всех

Определим теперь

как среднее по число кодовых слов на расстоянии I от Неравенство (3.31) переходит тогда в неравенство

Рассмотрим теперь ансамбль кодов, описанных в гл. 2. Пусть есть среднее по ансамблю кодов значение функции определенной в первом абзаце настоящего раздела для фиксированного кода; тогда неравенство (3.32) по-прежнему имеет место, а определяет теперь среднюю по ансамблю вероятность ошибки декодирования. Заметим, что по крайней мере -доля кодов должна иметь вероятность ошибки, не превышающую Последнее вытекает из того, что если больше чем -доля кодов обладает вероятностью ошибки, превышающей то уже эта доля кодов вносит вклад, больший чем в среднюю по ансамблю вероятность ошибки.

С оценкой (3.32) довольно трудно иметь дело, во-первых, потому, что в нее входит сумма членов, а может быть большим; во-вторых, потому, что она содержит ряд произвольных параметров по которым необходимо провести оптимизацию. К сожалению, в общем случае почти ничего нельзя сделать для того, чтобы упростить оценку без ее ослабления. Однако некоторые соображения о направлении последующих упрощений и ослаблений полезно

привести перед тем, как мы непосредственно перейдем к ним. Позже будет показано, что правая часть неравенства (3.32) ведет себя примерно как экспоненциально убывающая функция длины кода и для ансамблей кодов с малой плотностью проверок, и для ансамблей равновероятных кодов с проверками на четность. Таким образом, когда изучается при очень больших длинах блока и в случае исследования изменений с длиной блока основную роль играет коэффициент при в экспоненциальной функции. Наша задача поэтому заключается в отыскании значений оптимизирующих этот коэффициент в экспоненте. Другие части выражения, следовательно, в процессе оптимизации во внимание приниматься не будут. Получив оценку, можно, конечно, в каждом конкретном случае вернуться обратно и получить более точный результат для неравенства (3.32), однако попытки сделать это в общем случае только усложнили бы и без того сложную ситуацию.

Допустим теперь, что функцию расстояния фиксированного кода или ансамбля кодов можно оценить выражением вида

где должно быть сравнительно малой величиной, для того чтобы рассматриваемый далее метод оказался полезным. Выражения (2.1) и (2.19) дают такие оценки для случайного ансамбля и ансамблей кодов с малой плотностью проверок. Пусть теперь

Использовав вместо в неравенстве (3.35), подставив результат в неравенство (3.32), немного изменив порядок суммирования, оценив сумму раз взятым максимальным членом, получим, наконец, что

Функцни по-прежнему задаются соотношениями . В правой части неравенства (3.37) стоят два, по существу, экспоненциальных по слагаемых. Первое убывает с ростом при а второе возрастает с ростом при Поэтому, если мы выберем так, чтобы экспоненты были равны, любое изменение увеличило бы одну из них. Такой выбор минимизирует коэффициент при у большей из экспоненциальных функций. Исключив этим способом получим

В соответствии с определением функций соотношения (3.38) и (3.39) все еще зависят от . В приложении показано, что максимизируется по при

где

Константа в равенстве (3.40) произвольна и исключается в оценке . К сожалению, это всего лишь неявное решение, поскольку а в свою очередь зависит от При любых значениях и X можно найти удовлетворяющее равенству (3.40), только последовательными приближениями к а. Следовательно, оптимизация выражения (3.39) трудно выполнима даже при использовании вычислительной машины. Мы

выберем поэтому более простым способом, а именно

Для ансамбля равновероятных кодов максимизация по X приводит, как будет показано ниже, к равенству и в этом случае выражения (3.40) и (3.41) дают одинаковые результаты. Для других ансамблей изменения, вызываемые использованием равенства (3.41) вместо (3.40), приводят только к изменениям второго порядка в экспоненте

Выписывая точное выражение для производящей функции моментов (выражение и используя равенство (3.41), получаем (см. приложение Б)

Соотношения (3.42) и (3.45) дают общую оценку через три параметра: и Равенство (3.45) можно использовать для исключения X при любых фиксированных Максимизация по не является, однако, простой задачей

и может даже приводить к ряду локальных максимумов. Эту максимизацию тем не менее можно выполнить при помощи вычислительной машины.