следовательно, необходимые условия (3.12.35) являются также достаточными. Лемма доказана.
Покажем теперь, что в случае симметричных каналов без памяти оптимальным является равномерное распределение вероятностей
Напомним, что в случае симметричных каналов матрица переходных вероятностей обладает симметрией по строкам и столбцам: все строки и все столбцы образованы перестановками одного и того же набора чисел
Поэтому
где k — некоторая константа.
Следствие 3.12.2. При любом
функция
в случае симметричных каналов принимает максимальное значение на равномерном распределении вероятностей.
Доказательство. Подставляя в левую часть
и используя соотношения (3.12.36), получим
Отсюда, применяя лемму 3.12.2, получим доказываемое утверждение.
Теперь легко выписать функцию
Подставляя оптимизирующее распределение вероятностей в формулу (3.12.15), получим, что
Выше был описан способ построения графика функции
с помощью построения семейства касательных, верхней огибающей которых и является функция
. Этот метод геометрически нагляден, но неудобен тогда, когда нужно иметь аналитическую запись для
Ниже мы покажем, как можно найти решение системы уравнений (3.12.31) в случае симметричных каналов. В рассматриваемом случае после оптимизации по
(3.12.42) и (3.12.43), можно найти соответствующее значение скорости
а используя соотношение (3.12.38) — значение
Значение
можно тогда найти по формуле
При этом скорость меняется в интервале от С до
где
определяется соотношениями (3.12.42), (3.12.43) при
Для
функция
определяется соотношением
Пример 3.12.1. Рассмотрим построение экспоненты случайного кодирования для двоичного симметричного канала с вероятностью ошибки
Для этого канала
Положим
Тогда для скоростей в диапазоне от до
Для скоростей в диапазоне от 0 до
Значение критической скорости
В табл. 3.12.1 приведены численные значения экспоненты случайного кодирования для ДСК с двумя значениями вероятности ошибки
Таблица 3.12.1 (см. скан)