10. Выпуклость вниз как функций от ...
Теорема 4. Вычисляемые на основе переходных вероятностей канала К скорости
являются выпуклыми функциями от совместного распределения вероятностей на входах канала. Например,
Это свойство является обобщением подобного же свойства для односторонних каналов, рассматриваемого в работе автора. Для того чтобы доказать теорему, достаточно в соответствии с известными свойствами выпуклых функций показать, что
могут быть записаны так:
Здесь подстрочный индекс 1 у вероятностей соответствует тем распределениям, которые порождаются совместными распределениями на входах канала, аналогичное справедливо и для индекса 2. Внутреннюю сумму
можно толковать как скорость передачи по каналу от при условии, что фиксировано некоторое значение и что распределение вероятностей на буквах является условным, получающимся из совместного распределения
Соответствующая внутренняя сумма с распределением вероятностей имеющим вид
может рассматриваться как условная скорость передачи букв для такого же одностороннего канала, но с распределением вероятностей на входных буквах.
Идя по этому пути далее, можно применить результаты работы, относящиеся к свойству выпуклости. В частности, взвешенное среднее от этих скоростей, где весами служат распределения превосходит скорость передачи в соответствующем одностороннем канале, распределение вероятностей на входе которого является таким же средним взвешенным от обоих данных распределений. Это среднее взвешенное равно
Таким образом, сумма двух соответствующих слагаемых из неравенства (38) (с одним и тем же мажорируется величиной умноженной на скорость передачи по соответствующему одностороннему каналу, распределение на входе
которого задают выписанные выше осредненные вероятности. Эта последняя скорость при подстановке осредненных вероятностей превращается в
где подстрочный индекс 3 соответствует вероятностям, полученным при помощи Другими словами, суммы (39) и (40) (включая и первое суммирование по мажорируются выражением
Это и есть нужное нам утверждение теоремы.