3.3. Решение первой вариационной задачи. Термодинамические параметры и потенциалы

1. Сформулированные в предыдущем параграфе вариационные задачи (3.2.6), (3.2.8) и задачи (3.2.9), (3.2.10) являются типичными задачами на условный экстремум, и их можно решать методом неопределенных множителей Лагранжа. К указанным условиям необходимо добавить условие нормировки

Далее должно выполняться требование неотрицательности вероятностей

Однако его можно не вводить в число условий, так как решение, получаемое без его учета, оказывается (как показывает последующая проверка) автоматически ему удовлетворяющим. Вводя множители Лагранжа будем искать экстремум выражения

Вследствие неопределенности множителей у отыскание этого экстремума эквивалентно отысканию экстремума аналогичного выражения, построенного для задачи (3.2.9), (3.2.10) или для задачи (3.2.11) при помощи других неопределенных множителей. Условия экстремума имеют вид

Дифференцирование здесь проводится по тем и только по тем которые отличны от нуля в экстремальном распределении Предполагается, что это распределение существует и единственно. То подмножество из элементы которого имеют ненулевые вероятности в экстремальном распределении, обозначим и будем называть «активным» множеством. Следовательно, уравнение (3.3.4) справедливо лишь для элементов у из множества Из (3.3.4) имеем

Для прочих у, не входящих в вероятности равны нулю.

Мы видим, что экстремальные вероятности (3.3.5) оказываются всегда неотрицательными, так что условие (3.3.2) как дополнительное условие можно не принимать во внимание. Множитель немедленно определяется из условия нормировки (3.3.1), что дает

если сумма в знаменателе сходится.

В задаче (3.2.11) параметр является заданным и специально его определять не требуется. В задачах (3.2.6), (3.2.8), (3.2.9), (3.2.10) его следует определить из дополнительных условий (3.2.8) или (3.2.10) соответственно.

2. Полученное решение экстремальной задачи упрощается благодаря справедливости следующей теоремы.

Теорема 3.1. При решении задачи на максимум энтропии (3.2.6) при условии (3.2.8) в экстремальном распределении отличны от нуля вероятности всех элементов множества в которых функция штрафов с принимает конечные значения. Следовательно, если функция с для всех элементов конечна, то множество У совпадает со всем множеством

Доказательство. Предположим противное, т. е. что в экстремальном распределении некоторые элементы имеют нулевую вероятность Поскольку распределение экстремальное, то для другой меры (даже ненормированной) с тем же нулевым множеством справедливо соотношение

Возьмем теперь и положим в других точках подмножества Прочие вероятности подберем так, чтобы были выполнены условия

и разности линейно зависели от Ненулевая вероятность приведет к появлению в выражении для энтропии дополнительного члена Полагая и учитывая (3.3.7), получаем

Используя (3.3.8), будем иметь

При достаточно малых выражение в правой части (3.3.9) будет заведомо положительным. Следовательно, энтропия распределения Р, удовлетворяющего тем же условиям (3.3.8), будет превосходить энтропию экстремального распределения что невозможно. Значит, элемента имеющего в экстремальном распределении нулевую вероятность, не должно быть. Доказательство закончено.

Итак, вследствие установленного теоремой 3.1 факта совпадения при конечных значениях с мы будем в дальнейшем пользоваться формулой (3.3.5) или (3.3.6) для всего множества

Выражение (3.3.6) аналогично соответствующему выражению для распределения Больцмана, хорошо известному в статистической физике. При этом с является аналогом энергии, а является параметром, обратным абсолютной температуре (если пользоваться шкалой, в которой постоянная Больцмана равна единице). Имея в виду эту аналогию, будем называть Т температурой, а с энергией. Тот факт, что термодинамически равновесное распределение типа (3.3.6) является решением задачи на экстремум энтропии при фиксированной энергии, т. е. экстремальной задачи (3.2.6), (3.2.8) также является известным фактом статистической физики.

3. Проверим, что найденное распределение (3.3.5), (3.3.6) действительно соответствует именно максимуму (а не минимуму, скажем) энтропии . Вычисляя вторые производные от энтропии, имеем

где символ Кронекера. Следовательно, учитывая исчезновение первых производных и пренебрегая членами третьего порядка относительно отклонения от экстремального распределения Р, будем иметь

Поскольку входящие сюда все положительны, то разность является отрицательной, что и доказывает максимальность С.

Можно доказать, что если то найденное выше экстремальное распределение соответствует минимуму средних штрафов (3.2.9) при фиксированной энтропии (3.2.10). Для этого нужно учесть, что для функции (3.3.3), рассматриваемой как функция независимых переменных (пусть их число равно по аналогии с (3.3.10) справедливо соотношение

Следовательно, в экстремальной точке имеет место максимум выражения

Теперь нужно учесть, что нас интересует условный экстремум, соответствующий условиям (3.2.10) и (3.3.1). Последние выделяют в -мерном пространстве гиперповерхность размерности проходящую через экстремальную точку. Следует ограничиться лишь смещениями от экстремальной точки внутри этой гиперповерхности. Но если для любых смещений в экстремальной точке имеет место максимум, то и частному виду смещений вдоль гиперповерхности также соответствует максимум. Поскольку при смещении внутри гиперповерхности первый и третий члены (3.3.3) остаются неизменными, значит экстремальная точка является точкой условного максимума выражения т. е. точкой минимума средних штрафов (если Доказательство закончено.

4. Найденное распределение (3.3.6) позволяет найти пропускную способность С и средние штрафы как функцию от или «температуры» Исключая из этих зависимостей параметр или Т, нетрудно найти зависимость С от (для задачи (3.2.6), (3.2.8)) или зависимость от (для задачи (3.2.11), (3.2.10)). При практическом проведении расчетов удобно использовать технику, которая разработана в статистической физике. Сначала вычисляется (предполагаемая конечной) сумма

называемая статистической суммой. Она является нормировочным множителем в распределении (3.3.6). Через нее выражается свободная энергия

при помощи которой уже вычисляется энтропия С и энергия Докажем ряд обычных в термодинамике соотношений в форме отдельных теорем.

Теорема 3.2. Свободная энергия связана с энтропией и средней энергией простым соотношением

хорошо известным в термодинамике.

Доказательство. Используя формулы (3.3.12), (3.3.11), записываем распределение вероятностей (3.3.6) в виде

(распределение Гиббса).

Согласно (1.2.1) находим случайную энтропию

Усреднение этого равенства по у приводит к соотношению (3.3.13). Доказательство закончено.

Теорема 3.3. Энтропию можно вычислять, дифференцируя свободную энергию по температуре

Доказательство. Дифференцируя выражение (3.3.12) по температуре и учитывая (3.3.11), получаем

т. е. в силу (3.3.6), (3.3.11)

Принимая во внимание теперь равенства (3.3.12), (3.3.13), находим

что и требовалось доказать.

Как видно из формул (3.3.13), (3.3.15), энергия (средние штрафы) выражаются через свободную энергию следующим образом:

Легко проверить, что эту формулу можно записать в следующем более компактном виде:

После вычисления функций легко найти пропускную способность Уравнение (3.2.8), т. е. уравнение

определит и пропускная способность будет равна

Аналогично для задачи (3.2.9), (3.2.10) находятся минимальные средние штрафы (3.2.9) для данного количества информации Уравнение (3.2.10), принимающее вид

определяет температуру соответствующую данному количеству информации При этом минимальные средние штрафы (3.2.9) будут равны

В заключение этого параграфа сформулируем две теоремы, касающиеся фактов, хорошо известных в термодинамике.

Теорема 3.4. Если распределение (3.3.6) существует, сумма (3.3.11) сходится, то справедлива формула

так что при средние штрафы являются возрастающей функцией энтропии, а при убывающей.

Доказательство. Взяв дифференциал от выражения (3.3.13), имеем

Но в силу так что

Отсюда следует искомая формула (3.3.19).

Соотношение (3.3.20) является не чем иным, как известным термодинамическим равенством

где количество теплоты, пришедшей в систему и давшей увеличение ее внутренней энергии; энтропия.

Теорема 3.5. Если распределение (3.3.6) существуете с непостоянна в то является возрастающей функцией температуры. Пропускная способность (энтропия) С при является возрастающей функцией от Т.

Доказательство. Дифференцируя (3.3.17), получаем

Если подставить сюда (3.3.20), то будем иметь

Чтобы доказать теорему, остается показать, что

т. е. что является выпуклой функцией от Согласно есть не что иное, как Поэтому

Дифференцируя (3.3.11), получаем

в силу (3.3.6). Следовательно, выражение (3.3.24) есть не что иное, как дисперсия штрафов: которая является неотрицательной величиной (положительной, если с непостоянна в У). Это доказывает неравенство (3.3.23) и в силу (3.3.21), (3.3.22) всю теорему.

Вследствие (3.3.15) формула (3.3.22) дает

откуда в силу (3.3.23) можно заключить о выпуклости функции при и вогнутости при

Приведенные выше факты являются частным проявлением свойств термодинамических потенциалов, примерами которых являются функции Эти потенциалы, следовательно, играют роль не только в термодинамике, но и в теории информации. В следующей главе будут затронуты вопросы, связанные с асимптотической эквивалентностью условия типа (3.2.1) и условия типа (3.2.5).