3.4. Оценки Чернова

Для оценки в неравенстве (3.10) нам необходима теорема, доказанная в приложении

Теорема 3.1. Пусть сумма независимых случайных величин, пусть плотность распределения случайной величины, и пусть

есть производящая функция моментов случайной величины. Тогда

для всех таких, что существует. Когда дискретна, справедливо то же самое утверждение, если считать, что это вероятности, а интеграл, определяющий заменить суммой.

Для того чтобы применить теорему к будем рассматривать как случайную величину, где задано, а имеет распределение Тогда производящая функция моментов равна

Используя равенство (3.6), получаем

Для равенство (3.14) переходит в равенство

При используя условия симметрии (3.1) и (3.5), переписываем равенство (3.14) в виде

Заменяя переменную интегрирования на что выражения (3.15) и (3.16) идентичны, поэтому не зависит от

Можно показать, что выражение (3.17) эквивалентно функции распределения расстояния между входом и выходом канала и не зависит от входа, что естественно ввиду симметрии канала.

Используя теорему 3.1, получим, наконец,

для всех таких, что в равенстве (3.17) существует.

Для того чтобы довести дело до конца, нам нужно оценить задаваемое неравенством (3.11). Для этого необходима следующая теорема, доказываемая в приложении

Теорема 3.2. Пусть это пар случайных величин с плотностями распределения Пусть совместная производящая функция моментов задается выражением

и пусть теперь каждая пара случайных величин не зависит от всех других пар; определим тогда следующим образом:

Теперь для любых чисел

для всех таких, что существует. Для дискретных неравенство (3.21) по-прежнему справедливо, если интеграл в равенстве (3.19) заменить суммой, а плотность распределения — вероятностью.

Теорема будет использована при оценке для каждого кодового слова Допустим сначала, что отличается от в первых символах и совпадает с в последних символах. Тогда

Из условий симметрии (3.1) и (3.5) и определения в выражении (3.6) мы видим, что равно при поскольку мы допустили, что для Пусть теперь

Для фиксированного как так и до являются функциями от мы можем переписать выражение для в равенство (3.19) следующим образом:

Переписав так же, как это было сделано с в равенстве (3.13), увидим, что не зависит от и Поэтому

Применив теперь теорему 3.2, получим

для всех если отличаются в первых I символах.

Перенумеровав символов в блоке, заметим, наконец, что оценка (3.24) справедлива для любаго из кодовых слов, находящихся на расстоянии от Отсюда

для всех задается равенством

В соотношении (3.25) слагаемое при соответствует вырожденному случаю, когда одно из оставшихся слов совпадает с есть число кодовых слов с индексом, отличным от 0, но совпадающих с

Неравенства (3.25) и (3.18) оценивают и ввиду неравенства (3.9) их сумма служит оценкой вероятности ошибки декодирования по максимуму правдоподобия, когда передано фиксированное кодовое слово. Оценка выражается через кодовые расстояния переходные вероятности канала и ряд произвольных параметров по которым следует произвести оптимизацию. Таким образом, комбинаторная и вероятностная стороны задачи рассмотрены, и при заданном правые части соотношений (3.25) и (3.18) оцениваются, по существу, одинаково просто и при больших, и при малых длинах блоков. Проблема оптимизации, однако, ни в коей мере не тривиальна, так как уравнения трансцендентны и включают ограничения на Одно из упрощений состоит в исключении Соотношение (3.25) минимизируется по если минимизировать что достигается, если мы положим Тогда из равенства (3.23) получаем

Используя симметричность заметим, что при интегрируемая функция в равенстве

(3.26) антисимметричма по у и интеграл поэтому равен 0. Это действительно минимум, поскольку

Заметим, наконец, что решение

автоматически удовлетворяет ограничению при

Это упрощение позволяет переписать неравенство (3.25) так:

Эти соотношения, как видно из равенств (3.17) и (3.23), используют равенство