3.12.5. Показатель экспоненты случайного кодирования для симметричных каналов без памяти.

Докажем вначале лемму, в которой устанавливаются необходимые и достаточные условия, которым должно удовлетворять распределение вероятностей максимизирующее при каждом фиксированном значении в случае произвольных дискретных каналов без памяти.

Лемма 3.12.2. Для того чтобы распределение вероятностей максимизировало при фиксированном необходимо и достаточно выполнения следующих условий:

при всех причем знак неравенства может иметь место только для тех для которых

Доказательство. Используя теорему Куна-Таккера, получаем, что необходимые условия максимума функции суть

причем если то имеет место знак равенства. Домножая обе части неравенства (3.12.35) на и суммируя по всем для которых получим, что Заметим далее, что выражение под знаком логарифма в (3.12.15) выпукло вниз по так как Поэтому в силу монотонности логарифма, максимум по единствен и,

следовательно, необходимые условия (3.12.35) являются также достаточными. Лемма доказана.

Покажем теперь, что в случае симметричных каналов без памяти оптимальным является равномерное распределение вероятностей Напомним, что в случае симметричных каналов матрица переходных вероятностей обладает симметрией по строкам и столбцам: все строки и все столбцы образованы перестановками одного и того же набора чисел Поэтому

где k — некоторая константа.

Следствие 3.12.2. При любом функция в случае симметричных каналов принимает максимальное значение на равномерном распределении вероятностей.

Доказательство. Подставляя в левую часть и используя соотношения (3.12.36), получим

Отсюда, применяя лемму 3.12.2, получим доказываемое утверждение.

Теперь легко выписать функцию Подставляя оптимизирующее распределение вероятностей в формулу (3.12.15), получим, что

Выше был описан способ построения графика функции с помощью построения семейства касательных, верхней огибающей которых и является функция . Этот метод геометрически нагляден, но неудобен тогда, когда нужно иметь аналитическую запись для Ниже мы покажем, как можно найти решение системы уравнений (3.12.31) в случае симметричных каналов. В рассматриваемом случае после оптимизации по

распределению система уравнений, параметрически задающая функцию имеет вид:

Мы будем пользоваться теоремой 3.12.3, поэтому вначале подставим в формулу (3.12.22) и найдем распределения

где А — константа, определяемая соотношением (3.12.36).

Таким образом, из утверждения 3 теоремы 3.12.3 с учетом того, что получим, что первое соотношение в (3.12.39) эквивалентно следующему:

где средняя взаимная информация вычислена в соответствии с распределением

Заметим далее, что представляют собой переходные вероятности некоторого симметричного канала, если исходный канал является симметричным. Матрица переходных вероятностей этого нового канала образована элементами

Так как распределение вероятностей равномерное, то средняя взаимная информация равна пропускной способности этого канала. В результате соотношение (3.12.41) можно записать следующим образом:

Для вычисления как функции от можно воспользоваться следующим приемом. Будем менять параметр в интервале от 0 до 1. Для каждого значения используя соотношения

(3.12.42) и (3.12.43), можно найти соответствующее значение скорости а используя соотношение (3.12.38) — значение Значение можно тогда найти по формуле

При этом скорость меняется в интервале от С до где определяется соотношениями (3.12.42), (3.12.43) при Для функция определяется соотношением

Пример 3.12.1. Рассмотрим построение экспоненты случайного кодирования для двоичного симметричного канала с вероятностью ошибки Для этого канала

Положим

Тогда для скоростей в диапазоне от до

Для скоростей в диапазоне от 0 до

Значение критической скорости

В табл. 3.12.1 приведены численные значения экспоненты случайного кодирования для ДСК с двумя значениями вероятности ошибки

Таблица 3.12.1 (см. скан)