8.2. Решение второй экстремальной задачи.

Соотношения для пропускной способности и потенциала

1. Обозначим черех X пространство значений, которые может принимать входная величина х. В экстремальном распределении соответствующем пропускной способности (8.1.3), вероятность может быть сконцентрирована лишь на части указанного пространства. Обозначим через X минимальное подмножество для которого (т. е. ), и будем называть его «активной областью».

При решении экстремальной задачи для удобства записи будем полагать, что дискретная величина. Тогда можно рассматривать вероятности отдельных точек х и брать по ним частные производные. В противном случае пришлось бы вводить вариационные производные, что связано с некоторым усложнением, не носящим, впрочем, принципиального характера.

Ищется условный экстремум по выражения

при дополнительных условиях

Условие неотрицательности вероятностей пока можно не фиксировать, а проверить его после решения задачи.

Вводя неопределенные множители Лагранжа которые будут затем определяться из условий (8.2.1), (8.2.2), составим выражение

Будем искать его экстремум, варьируя величины соответствующие активной области Приравнивая нулю частную производную от (8.2.3) по получаем уравнение

являющееся необходимым условием экстремальности. Здесь

Умножая (8.2.4) на и суммируя по х с учетом (8.2.1), (8.2.2), имеем т. е.

Это соотношение позволяет исключить из уравнения (8.2.4), записав его в виде

Уравнения (8.2.7), (8.2.1), (8.2.2) образуют систему уравнений, служащую для совместного определения неизвестных , если область X является уже выбранной. При правильном выборе этой области в результате решений указанных уравнений должны получиться положительные вероятности

Основное уравнение (8.2.4) или (8.2.7), умножая на можно записать также в форме равенства

которое удобно тем, что справедливо при всех значениях а не только при Вне области X уравнение (8.2.7) не обязано выполняться.

Не представляет труда записать обобщение приведенных уравнений на тот случай, когда случайные переменные не являются дискретными. Вместо (8.2.7), (8.2.5) будем иметь

Искомым распределением при этом будет

2. Возвращаясь к дискретной версии, докажем следующее положение.

Теорема 8.2. Решение уравнений (8.2.7), (8.2.1), (8.2.2) действительно соответствует максимуму информации относительно вариаций распределения оставляющих неизменной активную область

Доказательство. Вычислим матрицу вторых производных от выражения (8.2.3):

не варьируются). Легко видеть, что эта матрица является неположительно определенной (поскольку , так что К является выпуклой функцией от В самом деле

при любых функциях

Неизменность области X при вариациях означает-, что варьируются лишь вероятности При таких вариациях функция К имеет нулевые производные (8.2.4). Из выпуклости функции К следует поэтому максимальность функции в экстремальной точке. Максимальность, следовательно, имеет место и для тех частных вариаций переменных которые оставляют неизменными равенства (8.2.1), (8.2.2). Доказательство закончено.

К сожалению, при записи и решении уравнения (8.2.7), активное множество X заранее неизвестно, и это усложняет задачу. Для отыскания X, вообще говоря, следует производить максимизацию по В некоторых важных случаях, например, когда для всего пространства указанные уравнения дают распределение этого можно избежать. Тогда есть искомая пропускная способность С.

В самом деле, вследствие доказанной в теореме 8.2 максимальности информации этом случае нет надобности рассматривать меньшие активные области Распределение имеющее любую меньшую активную область можно получить как предел распределений имеющих X в качестве активной области. Но для Р информация не больше экстремальной по теореме 8.2. Следовательно, и предельная информация совпадающая с информацией для не больше, чем найденная экстремальная информация Таким образом, указанное решение является искомым решением.

Утверждение теоремы 8.2 с дискретного варианта можно распространить на произвольный случай, соответствующий уравнениям (8.2.9).

3. Для рассматриваемой вариационной задачи можно ввести термодинамические потенциалы, которые играют такую же роль, как и потенциалы в первой вариационной задаче, рассмотренной в § 3.2, 3.3, 3.6. Уже соотношение (8.2.6) аналогично известному соотношению [см., например,(4.1.14а)] термодинамики. В нем С является аналогом энтропии Н, а — аналогом внутренней энергии свободной энергии параметр, обратный температуре. В дальнейшем средние штрафы как функцию термодинамических параметров мы будем обозначать буквой Следующая теорема подтверждает указанную аналогию.

Теорема 8.3. Пропускную способность можно вычислять дифференцированием потенциала по температуре:

Доказательство. Будем варьировать параметр или, что то же самое, параметр а в условии (8.2.1). Эта вариация сопровождается вариациями параметра и распределения Возьмем некоторую точку х активной области Если вариация не слишком велика, то после вариации сохранится условие т. е. х будет принадлежать проварьированной активной области. В точке а: и до и после вариации выполняется равенство типа (8.2.4). Дифференцируя его, получаем уравнение для вариаций

Суммирование здесь проводится по той области где Умножим это равенство на и просуммируем по х. Учитывая (8.2.5), (8.2.1) и сохранение условия нормировки

получаем . В силу (8.2.6) это дает

а, следовательно, и (8.2.11). Доказательство закончено.

Если известен потенциал как функция температуры Т, то для определения пропускной способности по формуле (8.2.11) остается конкретизировать значение температуры Т (или параметра Р), соответствующее условию (8.2.1). Для этого удобно рассмотреть новую функцию

Подставляя (8.2.11) в (8.2.6), имеем уравнение

служащее для определения величины Т.

Формулу (8.2.14) удобно рассматривать как преобразование Лежандра функции

Тогда согласно (8.2.15) пропускная способность С будет являться корнем уравнения

Кроме того, если рассматривать потенциал

то уравнение (8.2.15) принимает вид

Из этого уравнения находится

Формула (8.2.11), определяющая пропускную способность, при этом преобразуется к виду

Формулы (8.2.18), (8.2.19) аналогичны формулам (4.1.146) и (3.2.9) при учете (4.1.14). Это является следствием того, что в случае второй вариационной задачи выполняются те же обычные соотношения (8.2.6), (8.2.11), что и в случае первой вариационной задачи.

Взяв дифференциал от (8.2.15) получим

что соответствует известной термодинамической формуле для дифференциала энтропии.

4. Полезным является следующий результат.

Теорема 8.4. Функция является выпуклой.

Доказательство. Пусть вариации соответствует вариация и вариация Умножим

(8.2.12) на и просуммируем по учитывая, что

в силу (8.2.1), (8.2.2). Это дает

Первый член здесь, очевидно, не может быть отрицательным. Поэтому Поделив это неравенство на положительную величину имеем

Искомое неравенство (8.2.21) вытекает отсюда, если учесть, что в силу (8.2.20). Доказательство закончено

Знак равенства в (8.2.21), (8.2.23), как видно из (8.2.22), относится к тому случаю, когда все в области

Типичный ход кривой представлен на рис. 8.1. Точка максимума функции вследствие соотношения (8.2.20), которое можно записать в форме соответствует значению При этом частном значении уравнение (8.2.7) принимает вид

Здесь совершенно отсутствуют с а. Уравнение (8.2.24) соответствует каналу определенному без учета условий (8.1.1), (8.1.2), (8.1.6). Действительно, решение вариационной задачи без учета условия (8.1.6) приводит именно к уравнению (8.2.24), которое нужно дополнить еще условием (8.2.2). Это максимальное значение С обозначим Стах.

Обсудим некоторые следствия теоремы 8.4. Функция является обратной функции Поэтому она определена лишь при С Стах и является двузначной (хотя бы на некотором примыкающем к Стах интервале), если в (8.2.21) имеет место знак «О при Для одной ветви

эту ветвь мы назовем нормальной. Для другой, аномальной ветви имеем

Легко понять, что нормальная ветвь является вогнутой:

а аномальная ветвь — выпуклой:

как это следует из выпуклости функции

Если теперь рассмотреть функцию являющуюся преобразованием Лежандра от

[(см. (8.2.15)], то, поскольку,

она будет выпуклой в нормальной ветви и вогнутой в аномальной.

Рис. 8.1. Типичный вид зависимости между и С.

В заключение этого параграфа вернемся к тому случаю, когда задано условие (8.1.1) на интервале Предыдущее исследование поведения функций позволяет немедленно найти для него значение пропускной способности С. Могут встретиться три случая.

то, очевидно, максимальное значение пропускной способности

относится к числу допустимых. В этом случае фиксация условия (8.1.1) не приводит к уменьшению пропускной способности канала.

то интервал относится к нормальной ветви зависимости между С и а. Функция здесь является неубывающей, и пропускная способность поэтому равна

то нужно рассматривать аномальную ветвь. Поскольку функция при является невозрастающей, максимальное значение достигается при т. е.