7.4. Асимптотическая формула для вероятности ошибки

В дополнение к результатам предыдущего параграфа можно получить более сильные результаты, касающиеся быстроты исчезновения вероятности ошибки. Оказывается, что вероятность ошибки для удовлетворительных кодов убывает с ростом в основном экспоненциально:

где а — слабо зависящая от величина, постоянная, представляющая основной интерес. Для нее удается получить довольно общие формулы.

1. Теорема 7. 3. В условиях теоремы 7.1 имеет место неравенство

где

(см. (6.4.10), причем аргумент заменен на положительный корень уравнения

Предполагается, что достаточно близко к для того, чтобы последнее уравнение имело решение, и что значение принадлежит отрезку дифференцируемости потенциала

Доказательство, Введем скошенную функцию распределения

Формулу (7.4.5) можно записать в таком виде

Подставляя это равенство в неравенство типа (7.2.13) (но при выборе точки излома будем иметь

или

вследствие (7.3.1).

Чтобы оценить полученное выражение, надо уметь оценивать «хвост» функций распределения соответствующих сумме независимых случайных величин. Это составляет содержание теорем 4.6, 4.17. Применяя теорему 4.7 к функции (при , имеем

где

т. е.

а — корень уравнения

Корень является положительным, поскольку возрастающая функция:

Аналогично для скошенного распределения по теореме 4.6 имеем

где

причем

Подставляя (7.4.5) в (7.4.12), находим

Последнее справедливо в сйлу соотношения (7.4.8), из которого Вытекает

Следовательно,

Поэтому (7.4.13) принимает вид

Сравнение этого равенства с (7.4.10) дает:

и формула (7.4.11) записывается в виде

где учтено (7.4.16).

Подставляя (7.4.7), (7.4.18), (7.4.15) в (7.4.6) и учитывая (7.4.10), получаем требуемую формулу (7.4.2). Равенство (7.4.3) следует из (7.4.9). Теорема доказана.

2. Согласно приведенной теореме потенциал определяет стоящий в экспоненте (7.4.1) коэффициент

как преобразование Лежандра от характеристического потенциала:

Согласно общим закономерностям преобразований Лежандра из вогнутости функции вытекает вогнутость функции Это можно доказать аналогично тому, как было доказано неравенство (4.1.16а). Используя свойство вогнутости, можно экстраполировать функцию касательными. Если функция

вычислена, скажем, на интервале то можно произвести экстраполяцию

и заменить формулу

менее сильной формулой

Типичный ход зависимости и указанная экстраполяция касательной показаны на рис. 7.3.

Рис. 7.3.

Типичное поведение коэффициента в экспоненте формулы (7.4.1).

Точка соответствует значению поскольку уравнение (7.4.4) при этом имеет вид Далее как это следует из определения функции поэтому значению соответствует нулевое значение коэффициента

Исследуем поведение зависимости вблизи этой точки. Дифференцируя (7.4.4) и (7.4.19), получаем

Следовательно,

Взяв дифференциал этой производной и поделив на найдем

В частности, в точке имеем

Здесь как легко видеть из определения (7.4.9) функций совпадает с дисперсией случайной информации

Вычисляя аналогичным образом третью производную, имеем

Представляя функцию в виде ряда Тейлора и опуская члены с более высокими производными, согласно (7.4.22), (7.4.23) будем иметь

Приведенные выше результаты, связанные с формулой (7.4.1), могут быть дополнены и улучшены в различных отношениях. Некоторые более сильные результаты будут указаны в дальнейшем (см. § 7.5).

Эти результаты могут быть распространены на более общий [по сравнению с (7.1.1)] случай произвольных информационноустойчивых случайных величин, т. е. может быть произведено усиление теоремы 7.2 в направлении учета быстроты исчезновения вероятности ошибки. Мы не будем на этом останавливаться, а ограничимся указанием, что это делается совершенно стандартным способом. Коэффициент а, не следует рассматривать в отдельности от Вместо этого нужно оперировать с комбинацией Аналогично следует рассматривать лишь комбинации

Формулы при этом заменятся формулами

В приведенном выше изложении изменится лишь способ записи формул.

Формулы, оценивающие поведение вероятности ошибки, выводятся в работах Шеннона [3] и Фано [1].