9.7. Вероятность ошибки для случайных кодов

Верхняя граница вероятности ошибки, полученная в предыдущем разделе для кодов с фиксированной композицией, асимптотически совпадает с соответствующей нижней границей, найденной в разд. 9.2 и 9.3, для скоростей, больших или равных критической скорости Следовательно, никакое изменение ансамбля отображений, по которому осредняется вероятность ошибки, не может улучшить асимптотику верхней границы. С другой стороны, поскольку случайное построение отображений представляет как практический, так и теоретический интерес, важно установить, остается ли неизменной средняя вероятность ошибки, когда условие постоянства композиции, накладываемое на входные последовательности, приписанные сообщениям, заменяется более слабым ограничением постоянства средней композиции. Точнее, наша задача в этом разделе — найти оценку сверху правой части неравенства (9.114), используя для отображения сообщений на входные последовательности распределение вероятностей типа, определяемого соотношениями (9.107) и (9.108), и затем сравнить эту оценку с оценкой, полученной в предыдущем разделе.

В разд. 9.5 отмечалось, что для распределения вероятностей определяемого выражениями (9.107) и (9.108), ансамбль входных последовательностей V становится произведением статистически независимых ансамблей описываемых одним и тем же распределением вероятностей Таким образом, входную последовательность, соответствующую каждому отдельному сообщению, можно представить себе построенной с помощью независимого случайного выбора каждого последовательного события с вероятностью

Теорема. Рассмотрим дискретный постоянный канал, характеризуемый условным распределением вероятностей и ансамбль отображений сообщений во входные последовательности, полученный сопоставлением каждому сообщению

последовательности из входных событий, выбираемых независимо, случайно, с вероятностью из дискретного ансамбля Определим для произведения пространств перекошенное распределение вероятностей

где

Вероятность ошибки, осредненная по ансамблю отображений, удовлетворяет неравенству

где для коэффициент а параметрически связан со скоростью передачи на событие с помощью выражений

и

Доказательство. Пусть в тождестве (9.111) имеет вид

где

и положительная функция у. Так как событий, образующих последовательность , сопоставленную некоторому сообщению, выбираются независимо и случайно с одной и той же вероятностью то из выражений (9.105), (9.106) и (9.206) следует, что случайная величина определяемая равенством (9.111), является суммой статистически независимых, одинаково распределенных случайных величин

Верхнюю границу вероятности задаваемую равенством (9.116), можно получить с помощью теоремы, содержащей формулу (8.39). Для этого отождествим точки произведения ансамблей с точками а ансамбля А из этой теоремы, распределение вероятностей с распределением вероятностей случайную величину со случайной величиной Тогда получим

где

Верхнюю границу вероятности задаваемую выражением (9.115), можно получить аналогичным образом с помощью теоремы, содержащей формулу (8.51). С этой целью точки произведения пространств отождествим с точками а ансамбля А этой теоремы; распределение вероятностей с распределением вероятностей случайную величину случайную величину со случайной величиной Кроме того, поскольку имеем

где заменено на для того, чтобы избежать смешения с параметром в выражении для верхней границы Тогда из

выражения (8.51), опять заменяя на получаем

и с помощью выражения (8.44)

Значения двух параметров должны удовлетворять равенствам (9.216) и (9.217). Очевидно, равенство (9.217) удовлетворяется, когда перекошенное распределение вероятностей является функцией, симметричной относительно Такая симметрия может иметь место, если положить

Откуда, в силу условия, накладываемого на в выражении (9.214), получаем

Тогда, подставляя в выражение (9.218) значение из этого соотношения, получаем

Из условий (9.211) и (9.216) вытекает, что

а это равенство можно удовлетворить, если потребовать, чтобы

т. е.

Пусть

Отсюда, в силу ограничений, накладываемых на в соотношениях (9.209) и (9.221), имеем

Тогда равенство (9.225) может быть удовлетворено, если положить

т. е.

где К — нормирующий множитель, определяемый с помощью соотношения (9.207). Таким образом, произвольная функция должна иметь вид

Умножая обе части равенства (9.229) на и суммируя по У, с помощью выражения (9.210) получаем

Выпишем теперь окончательные выражения для перекошенного распределения вероятностей. Из соотношения (9.212) с

помощью тождества (9.207) и равенства (9.229), получаем

и, следовательно,

Эти два соотношения совпадают с соотношениями (9.199) и (9.200) теоремы. Наконец, из выражений (9.222) и (9.215) с помощью соотношений (9.210), (9.226), (9.229), (9.232) и (9.233) получаем

а в силу равенств (9.217) и (9.223), получаем

Это выражение представляет собой коэффициент в показателе в выражении (9.214). Подставляя правые части соотношений (9.209) и (9.214) в выражение (9.114) и полагая скорость передачи на событие

с помощью выражения (9.236) получаем

где

Это соотношение справедливо для всех значений на отрезке а потому мы можем выбрать значение из этого отрезка, минимизирующее правую часть соотношения. Исследуем в этой связи характер зависимости коэффициентов в двух показателях как функций Зависимость величин и от

выражается как через так и непосредственно. Однако ниже мы покажем в виде отдельной теоремы, что их полные производные по равны соответствующим частным производным

и

где

— дисперсия

Поскольку два коэффициента в показателях в выражении (9.238) монотонно изменяются с ростом в противоположных направлениях, то правая часть этого соотношения принимает значение, близкое к минимуму при для которого

Кроме того, с помощью соотношений (9.212), (9.232), (9.233), (9.239) и (9.240) получаем

Тогда подстановка правых частей выражений (9.245) и (9.246) в неравенство (9.238) дает верхнюю часть формулы (9.201) теоремы. С помощью выражения (2.91) легко доказывается, что

Нижняя часть соотношения (9.201) может быть получена следующим образом. Прежде всего мы видим, что, как следует из соотношения (9.242), для фиксированного коэффициента в показателе первого члена правой части выражения (9.238) достигает своего максимума при Далее, заметим, что

ограничение возникает из ограничения в выражении (9.214). Из двух этих фактов следует, что определяемое соотношением (9.115), лишь немного увеличится, когда превзойдет значение, задаваемое соотношением (9.216) для Следовательно, для мы можем положить без существенного улучшения оценки верхней границы Это эквивалентно тому, что мы принимаем

Вычисление при этих ограничениях производится, как и раньше, за исключением того, что в соотношениях в (9.215) и (9.218) мы полагаем Тогда перестает входить в эти два соотношения и требование, накладываемое соотношением (9.217), удовлетворяется для Отсюда следует, что

где

и с помощью соотношения (9.235), (9.245) и (9.246) получаем

Наконец, подстановка правой части выражения (9.248) и в неравенство (9.114) дает нижнюю часть соотношения (9.201) теоремы. Ч. Т. Д.