Глава 8. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ. ВАЖНЫЕ ЧАСТНЫЕ СЛУЧАИ КАНАЛОВ

Данная глава посвящена второй вариационной задаче, в которой отыскивается экстремум шенноновского количества информации по различным входным распределениям. Канал, т. е. условное распределение на его выходе при фиксированном входном сигнале, предполагается известным. Максимальное значение количества информации называется пропускной способностью. В отличие от традиционных способов изложения здесь с самого начала вводится дополнительное условие, касающееся среднего значения некоторой функции от входных переменных, т. е. рассматривается условная вариационная задача. Результаты, относящиеся к случаю отсутствия условия, получаются как частный случай приводимых общих результатов.

В соответствии с характером изложения, принятым в настоящей книге, вводятся потенциалы, через которые выражается условная пропускная способность. Более подробно разбирается ряд важных частных случаев каналов, для которых удается получить результаты в более явном виде. Так, для случая гауссовых каналов общие результирующие формулы, имеющие матричный вид, находятся путем применения матричной техники.

Изложение в настоящей главе ведется, в основном, применительно к случаю дискретных случайных величин х, у. Многие рассуждения и результаты, однако, непосредственно переносятся на более общий случай путем изменения обозначения (например, замены на и пр.).

8.1. Определение пропускной способности каналов

В предыдущей главе предполагалось, что статистически заданы не только помехи в канале, описываемые условными вероятностями но и сигналы на входе канала, описываемые априорными вероятностями Поэтому в качестве канала связи бралась система, характеризуемая совокупностью распределений или, иначе, совместным распределением

Между тем, распределение обычно не является неотъемлемой частью реального канала связи, как условное распределение

Иногда имеет смысл не конкретизировать заранее распределение а фиксировать лишь некоторые технически важные требования, скажем вида

где с известная функция. Обычно достаточно рассматривать лишь одностороннее условие типа

К требованиям такого типа относится, например, ограничение средней мощности передатчика. Тогда канал будет характеризоваться совокупностью распределения и условия (8.1.1) или (8.1.2). В соответствии с этим, ссылаясь на такой канал, мы будем употреблять выражения «канал «канал или коротко «канал В некоторых случаях условия (8.1.1), (8.1.2) могут вообще отсутствовать. Тогда канал характеризуется лишь условным распределением Как видно из результатов предыдущей главы, важнейшей информационной характеристикой канала является величина которая определяет верхний предел для асимптотически безошибочно передаваемого количества информации. Аналогичной величиной для канала является пропускная способность С. Пользуясь свободой выбора распределения остающейся после фиксации условия (8.1.1) или (8.1.2), естественно подобрать наиболее выгодное распределение с точки зрения количества информации Это приводит к следующему определению.

Пропускной способностью канала называется максимальное количество информации связи между входом и выходом:

где максимизация идет по всем совместимым с условием (8.1.1) или (8.1.2).

В результате указанной максимизации можно найти оптимальное распределение для которого

или хотя бы -оптимальное для которого

где сколь угодно мало. После этого можно рассмотреть систему или и использовать для нее результаты предыдущей главы. Так, теорема 7.1 даст следующее утверждение:

Теорема Пусть имеется стационарный канал, являющийся степенью канала с (я)]. Пусть при количество передаваемой информации растет по закону

где не зависящая от величина, удовлетворяющая неравенству

пропускная способность канала Тогда существует последовательность кодов таких, что

Для того чтобы вывести эту теорему из теоремы 7.1, очевидно достаточно подобрать такое распределение совместимое с условием (8.1.1) или (8.1.2), чтобы выполнялось неравенство

С. Вследствие (8.1.3), (8.1.5) это можно сделать.

Аналогичным образом на каналы распространяются и другие результаты, полученные в предыдущей главе для каналов Мы не будем на этом более останавливаться.

Согласно определению (8.1.3) пропускной способности канала с помехами ее вычисление сводится к решению определенной экстремальной задачи. Аналогичная ситуация встречалась в § 3.2, 3.3, 3.6, где рассматривалась пропускная способность канала без помех. Разница между этими двукя случаями в том, что раньше максимизировалась энтропия, а теперь шенноновское количество информации. Несмотря на это различие, между данными экстремальными задачами имеется много общего. В отличие от прежней экстремальной задачи настоящую задачу будем называть второй экстремальной задачей теории информации.

Экстремум (8.1.3) обычно достигается на границе допустимого диапазона (8.1.1) средних штрафов, поэтому условие (8.1.1) можно заменить односторонним неравенством типа (8.1.2) или даже равенством

(где а совпадает с или В этом случае канал можно специализировать как систему а] и говорить, что пропускная способность канала соответствует уровню потерь а.

Рассматриваемый канал не обязан быть дискретным. Все сказанное выше относится и к тому случаю, когда случайные величины х, у являются произвольными: непрерывными, комбинированными и т. п. При абстрактной формулировке задачи следует рассматривать абстрактное пространство составленное из точек со, и два борелевских поля его подмножеств. Поле соответствует случайной величине величине у. Функция штрафов с есть измеримая функция от Кроме того должно быть задано условное распределение

Тогда система составляет абстрактный канал. Его пропускная способность определяется как максимальное значение (8.1.3) шенновского количества информации

в обобщенной версии (см. § 6.4). При этом сравниваются различные распределения на удовлетворяющие условию типа (8.1.1), (8.1.2) или (8.1.6).