3.5. Метод потенциалов в случае большего числа параметров

Изложенный в § 3.3, 3.4 метод потенциалов может быть обобщен на более сложные случаи, когда имеется большее число внешних параметров. При этом данный метод еще в большей степени перерастает в методы, обычно применяемые в статистической термодинамике. Наметим здесь пути этого обобщения, отложив более подробное рассмотрение до следующей главы.

Пусть функция штрафов с зависит теперь от числового параметра а и является дифференцируемой по этому параметру. Тогда свободная энергия

и прочие функции, введенные в § 3.4, будут зависеть не только от температуры Т (или параметра но и от значения а. То же самое относится и к оптимальному распределению (3.3.14), имеющему теперь вид

Формула (3.3.15) и прочие результаты из § 3.3, разумеется, сохранят свое значение, если при вариации параметра Т параметр а считать постоянным, т. е. обыкновенные производные заменить частными.

Энтропия распределения (3.5.2), следовательно, равна

В дополнение к этим результатам теперь можно получить формулу для частных производных по новому параметру а. Дифференцируя (3.5.1) по а, находим

или

если учесть (3.5.2), (3.5.1).

Функция

называется случайным внутренним термодинамическим параметром, сопряженным с внешним параметром а.

Вследствие формул (3.5.3), (3.5.4) полный дифференциал свободной энергии можно записать:

Отсюда, в частности, имеем

Внутренний параметр А, определяемый подобной формулой, называется сопряженным с параметром а относительно потенциала .

В формуле (3.5.5) и мыслятся как функции от . Их, однако, можно интерпретировать как независимые переменные, а вместо рассматривать другой потенциал , выражающийся через преобразованием Лежандра:

Тогда параметры Т, а будут получаться как функции от дифференцированием:

поскольку из (3.5.5), (3.5.6) будем иметь

Преобразование Лежандра можно, конечно, совершить и по одной из двух переменных. Указанными потенциалами и их производными удобно пользоваться при решении различных вариационных задач, связанных с условной пропускной способностью. В качестве независимых переменных удобно брать те переменные, которые заданы в условии задачи.

Из многих возможных задач, касающихся выбора оптимального кодирования при наличии штрафов с учетом ряда условий, наложенных на количество информации, средние штрафы и прочее, мы рассмотрим один иллюстрационный пример.

Пример. Пусть сообщение следует закодировать символами Каждому символу приписывается некоторый штраф Кроме этого штрафа пусть требуется учесть еще один дополнительный расход скажем, количество краски, которое идет на данный символ. Если ввести стоимость краски а, то полные штрафы будут иметь вид

Пусть требуется найти такое кодирование, при котором записывалось бы (передавалось) заданное количество информации (в расчете на один символ), при этом тратилось бы фиксированное количество К краски (в среднем на один символ) и, кроме того, минимизировались бы средние затраты

Для решения этой задачи вводятся параметры как вспомогательные, которые сначала являются неопределенными, а

затем находятся из дополнительных условий. Расход краски на символ мы берем в качестве случайной переменной . В качестве второй переменной выбираем переменную, дополняющую до так что Штрафы (3.5.8) при этом можно записать

Теперь мы можем применить к данной задаче формулы (3.5.1)- (3.5.7) и другие при . Свободная энергия согласно (3.5.1) находится по формуле

а оптимальное распределение (3.5.2) имеет вид

Для окончательного определения вероятностей, энтропии и прочих величин остается конкретизировать параметры Т и а, пользуясь условиями, сформулированными ранее. Именно, средняя энтропия и средний расход краски предполагаются фиксированными:

Используя формулы (3.5.3) и (3.5.4), получаем систему двух уравнений

для определения параметров

Оптимальное распределение (3. 5.10) минимизирует как полные средние штрафы так и частичные средние штрафы

поскольку при вариациях разность остается постоянной. Ввиду того, что легко видеть, что частичные штрафы рассматриваемые как функция от , получаются из преобразованием Лежандра (3.5.6), т. е. являются примером потенциала . Учитывая формулы (3.5.7), оптимальное распределение (3.5.10) можно записать в следующей форме:

После полного определения оптимальных вероятностей можно осуществить фактическое кодирование по рецептам § 3.6.