9.8. Оптимизация входного распределения вероятностей

Верхняя граница средней вероятности ошибки, задаваемая неравенством (9.201), зависит от и коэффициента в показателе

где значение при определяется из

и

Характер зависимости от может быть исследован с помощью производных этих величин по Для вычисления производных воспользуемся следующей теоремой.

Теорема. Полные производные по равны соответствующим частным производным в выражении (9.239) при постоянном т. е.

Доказательство. Из тождества (9.239) видно, что зависит от как через так и непосредственно. Следовательно,

С другой стороны,

так что выражение (9.255) сводится к

Аналогично с помощью выражения (9.257) имеем

где — вторая частная производная по при постоянном . С другой стороны, с помощью равенства (9.256) имеем

так что равенство (9.258) сводится к

Обобщение на производную не вызывает затруднений. Ч. Т. Д.

С помощью этой теоремы мы получаем, что

где функция - определенная в выражении (9.243), является дисперсией относительно распределения и

Типичная зависимость между показана на рис. 9.5. Наклон этой кривой и обращаются в нуль при

Рис. 9.5. Типичная зависимость между

Наклон возрастает с и равен единице при соответствующем Он остается равным единице для . В точке в силу условий (9.249) и (9.250),

Перейдем теперь к оптимизации входного распределения вероятностей Нам нужно максимизировать по при фиксированном значении R. С этой целью мы воспользуемся теми же соображениями, какие использовались в разд. 9.4 при доказательстве теоремы, содержащей формулу (9.86).

Оптимальное соотношение между задает огибающую кривых, соответствующих всевозможным распределениям вероятностей Так как производная а и по зависит только от то для любого заданного значения касательные к кривым, соответствующим различным параллельны. Следовательно, если обозначить через отрезок, отсекаемый какой-либо из этих касательных на оси то максимизирующее для какого-либо является оптимальным.

Теорема. Отрезок достигает своего максимального значения при распределении вероятностей для которого

где

- значение, принимаемое при

Доказательство. Из соотношения (9.261) имеем для отрезка

Следовательно, для мы должны минимизировать по при ограничении Согласно методу Лагранжа, стационарно при вариации когда

где К не зависит от С другой стороны, мы видим, что зависит от и эта зависимость выражается как через так и непосредственно. Из выражений (9.239) и (9.256) имеем

где задается равенством (9.264). Тогда подстановка правой части в равенство (9.266) дает

Наконец, умножая обе части этого равенства на и суммируя по X, получаем и, следовательно, выражение (9.268) совпадает с верхней частью формулы (9.263) теоремы.

Для случая мы должны минимизировать предел при стремящемся к нулю. Получаем

Умножая обе части этого равенства на и суммируя по X, имеем так что равенство (9.269), оказывается, совпадает с нижней частью равенства (9.263).

Остается показать, что распределение вероятностей удовлетворяющее соотношению (9.263), соответствует максимуму С этой целью заметим, что если обращается в нуль для всех входных букв, кроме то при Из выражений (9.245) и (9.246) видно, что при этих условиях и а обращаются в нуль, а потому обращается в нуль и Отсюда следует, что если существует только одно распределение вероятностей удовлетворяющее условию (9.263), то оно должно соответствовать максимуму Если же равенству (9.263) удовлетворяет несколько распределений вероятностей, то из них нужно выбрать то, которое соответствует наибольшему значению . Ч. Т. Д.

Для равенство (9.263) совпадает с соотношением (5.60), которому должно удовлетворять распределение вероятностей на входе, соответствующее пропускной способности канала. Для из выражений (9.229), (9.231), (9.232) и (9.263) получаем

Эти две совокупности условий определяют систему уравнений с К неизвестными неизвестными

тождественную системе, образованной равенствами (9.96) и (9.97) для кодов с фиксированной композицией. Кроме того, в силу условия (9.271), имеем

так что

что совпадает с определением задаваемым выражением (9.23) для кодов с фиксированной композицией. Далее, с помощью соотношений (9.272) и (9.273) из (9.245) и (9.246) получаем для оптимальных

что совпадает с соответствующими величинами в выражениях (9.137) и (9.138) для кодов с фиксированной композицией, если заменить в них на Таким образом, мы доказали следующую важную теорему.

Теорема. Оптимальное соотношение между коэффициентом в оценке верхней границы средней вероятности ошибки и скоростью передачи остается неизменным независимо от того, выбираются ли входные последовательности, сопоставляемые сообщениям, случайно из множества последовательностей с композицией или они конструируются из букв, выбираемых независимо и случайно с вероятностями

Следует, однако, подчеркнуть, что эта теорема применима только для оптимального соотношения между Вообще же если не оптимально, то коэффициент для кодов с фиксированной композицией больше, чем для кодов, конструируемых с помощью случайного с вероятностями выбора букв входных последовательностей. Это следует из того, что коэффициенты в двух показателях для границ вероятности ошибки различны и один из них, соответствующий кодам с фиксированной композицией, всегда совпадает с коэффициентом в показателе нижней границы вероятности ошибки.

Ввиду этой теоремы отпадает необходимость в каком-либо дальнейшем изучении оптимального соотношения между