17. Обобщение на каналы с Т концами

Многие методы и приемы, развитые выше, могут быть обобщены на каналы с тремя и более концами. Однако в этих более сложных случаях появляются некоторые определенно новые явления. В другой работе будет рассмотрен случай канала с двумя или более концами, имеющими только входы, и с одним концом, имеющим только выход; в этом случае может быть найдено легкое и простое решение задачи об области пропускной способности.

Приложение. Границы для вероятностей ошибок в терминах производящих функций для моментов

Предположим, что вероятности приписаны входным буквам на конце 1 и — входным буквам на конце 2. (Заметим, что здесь речь идет о буквах, а не о словах, как в теореме 2.) Можно тогда вычислить логарифм от производящей функции для моментов взаимной информации между входными буквами на конце 1 и входными и выходными парами букв на конце 2. (Это есть логарифм производящей функции для моментов распределения когда Выражения для этой величины и ей подобной для второго направления таковы:

Эти функции могут быть использованы при ограничении «хвостов» распределений полученных при сложении вместе одинаково распределенных выборок. Действительно, Чернов показал, что хвост слева от среднего может быть ограничен

следующим образом:

Таким образом, выбирая произвольное отрицательное по этим формулам получим границу для значения функции распределения в точке пр, Можно показать, что является монотонно возрастающей функцией и что есть среднее ее распределения. Минимум соответствует минимально возможному значению рассматриваемой случайной величины, в данном случае минимуму Таким образом, можно найти такое значение чтобы находилось в любом месте между Конечно, левее функция распределения тождественно равна 0, а правее функция распределения стремится к 1 при возрастании

Желательно воспользоваться этими результатами, чтобы получить более точные границы для фигурирующих в теореме 2. Вспоминая, что в этой теореме являются произвольными, постараемся выбрать их так, чтобы экспоненциальные границы для обоих членов совпадали. Это хороший способ выбора если требуется поддерживать общую границу как можно меньшей. Первый член ограничен выражением где таково, что второй член равен Объединяя эти равенства, получим

Исключая будем иметь

и

Это следует из того, что оба члена теперь равны, и каждый из них мажорируется величиной Аналогично для

имеем

Эти выражения могут быть названы параметрическими границами, выраженными через параметры Надо выбрать так, чтобы скорости приняли желаемые значения. Если

подставить эти значения и в остальные формулы, то получим границы для вероятностей ошибок.

Производная от по равна т. е. величине, являющейся всегда положительной при отрицательном за исключением особого случая, когда Таким образом, является монотонно возрастающей функцией от принимающей значения от до при изменении от до 0. Тем временем величина, стоящая в квадратных скобках в выражении изменяется от до нуля. Скорость, соответствующая значению , т. е. величине — может быть как положительной, так и отрицательной. Если она отрицательна (или равна 0), то покрывается целый промежуток скоростей от 0 до Однако если она положительна, то имеется пробел для скоростей от до этой концевой точки. Это означает, что уравнение, приводящее к двум равным экспоненциальным членам, не имеет решения при скоростях в этом интервале. В таком случае, чтобы получить хорошую границу, лучше всего выбрать так, чтобы было меньше скажем, равным . Тогда и остается только второй член Таким образом, является границей для . Это справедливо для любого Так как можно построить такие коды для любого положительного и так как имеется лишь конечное число кодов, то отсюда вытекает, что может быть Построен код, удовлетворяющий этому неравенству при Таким образом, можно сказать, что

Конечно, в точности аналогичное утверждение справедливо и для кодирования по обратному направлению. Комбинируя и суммируя изложенное, получим следующую теорему.

Теорема 7. Пусть для двустороннего канала К без памяти множества являются распределением вероятностей на входных алфавитах и предположим, что при этом логарифмы от производящей функции для моментов взаимной информации равны

Пусть и пусть являются решениями (когда они существуют) уравнений

Решение существует, если

аналогично и для Если оба решения существуют, то существует некоторая пара кодов длины для канала К и передачи сообщений по обоим направлениям соответственно с вероятностями ошибок, удовлетворяющим условиям

Если одно из (или оба) так малы, что соответствующие не существуют, то существует пара кодов с вероятностями ошибок, ограниченных соответственно выражениями

и

Таким образом, если существует и не существует то используются неравенства (66). Если ни одно из них не существует, то справедливы неравенства (67) и (68).