Скорость передачи для произведения источников с мерой, являющейся суммой мер искажения

Предположим, что имеется два независимых источника, каждый со своей собственной мерой искажения и и скоростями передачи Предположим также, что каждый источник создает одну букву в секунду. Рассмотрим упорядоченные пары букв как отдельные буквы, создаваемые комбинированным

источником, который будем называть произведением источников. Если общее искажение измеряется суммой отдельных искажений то существует простой метод определения функции для произведения источников. В самом деле, покажем, что получается суммированием координат кривых в точках, гдеобе кривые имеют одинаковый наклон, и что переходные вероятности, соответствующие произвольной точке являются произведением переходных вероятностей для точек-компонент.

Покажем сначала, что минимум для произведения источников, взятый по всевозможным допустимым значениям не увеличится, если операцию минимизации провести по переходным вероятностям, заданным в виде произведения где и выражаются через следующим образом:

Поскольку эти выражения неотрицательны и суммирование по соответственно дает единицу, то эти выражения удовлетворяют ограничениям, накладываемым на переходные вероятности. Кроме того, переходные вероятности дают точно такое общее искажение, что и переходные вероятности Действительно,

где последний член можно рассматривать как искажение при переходных вероятностях

Теперь, если вместо взять то взаимная информация может или уменьшиться или остаться постоянной. В самом деле, эта средняя взаимная информация может быть записана в терминах энтропии следующим образом: отмечаем звездочками значения энтропии, соответствующие переходным вероятностям и опускаем звездочку для значений энтропии, соответствующих Имеем

(Здесь используется тот факт, что при нашем определении справедливы равенства которые становятся очевидными, если выписать соответствующие вероятности.) Последний член предыдущей формулы

равен так как в силу независимости источников

Таким образом, наше предварительное утверждение доказано. Из него следует, что любая точка на кривой для произведения источников получается с помощью произведения переходных вероятностей (как при независимых событиях) и, следовательно, есть сумма координат соответствующих точек обеих кривых.

Очевидно, что наилучший выбор при заданном искажении дается выражением

и этот минимум будет иметь место, когда

Итак, точки компонент, которые должны суммироваться, являются точками, где составляющие кривые имеют одинаковую кривизну. Выпуклость этих кривых гарантирует единственность такой пары точек для любого