3. Несколько типичных физических примеров

Рассмотрим несколько классических задач физики, чтобы показать, как возникает связанная информация и какую роль она играет. Это будет подходящим случаем для рассмотрения некоторых старых споров о значении энтропии и для разъяснения некоторых трудных вопросов.

Возьмем случай идеального одноатомного газа, заключенного в теплоизолированный сосуд объема V.

Когда достигнуто равновесное состояние, энтропия равна

где n — число атомов газа, m — масса атома, k и h — постоянные Больцмана и Планка соответственно, Е — полная энергия и g — число неразличимых состояний на основном уровне атома.

Если основное состояние не вырождено, то . Это есть случай атома без момента количества движения в основном состоянии . Если имеется момент количества движения у (спин плюс орбитальный момент), то имеется состояний, предполагаемых равновероятными. Основное состояние предполагается достаточно низким, а температура не слишком высокой, так что возбуждение на высшие энергетические уровни не может иметь места.

Теоретическая формула хорошо согласуется с экспериментальными данными, но многие теоретические члены, совершенно необходимые для логической полноты, в действительности слишком малы, чтобы их можно было наблюдать в большинстве термодинамических экспериментов. Перепишем (12.12) следующим образом:

(12.13)

Случай соответствует атомам со спином 1/2 и с двумя ориентациями . При мы имеем и три ориентации . Все ориентации равновероятны, если внешнее поле отсутствует; небольшое внешнее поле расщепляет энергетические уровни и устраняет вырождение.

Разности между очень малы и не могут непосредственно наблюдаться, так как мы не в состоянии изменить значение j для данного атома. Однако при радиоактивных превращениях мы можем наблюдать превращение атома с массой m и спином j в другой атом с массой m и спином и в этом случае эти величины имели бы физический смысл.

Это рассуждение показывает, что можно говорить о различии в энтропии только тогда, когда преобразование физически осуществимо. В противном случае это не имеет практического смысла. Предположим, что мы имеем дополнительную информацию о состоянии газа; например, нам удалось узнать, что в некоторый предшествующий момент газ занимал меньший объем . Так обстояло бы дело, если бы газ содержался в сосуде V, который мы внезапно соединили бы с другим объемом :

Начальная энтропия S меньше энтропии S после расширения на величину, определяемую (12.12):

(12.14)

где есть информация. Когда мы впускаем газ в объем между обоими сосудами возникают колебания плотности, и постепенно устанавливается равновесное состояние с плотностью, однородной во всем объеме V. Возрастание энтропии и потеря информации происходят совместно. Мы можем сказать, что газ постепенно «забывает» информацию).

В качестве другого примера рассмотрим диффузию газа. Чтобы упростить задачу, сохранив ее существенные черты, предположим, что имеются два газа с атомами одинаковой массы m при атомов первого газа занимают первоначально объем атомов второго газа — объем :

Эти соотношения требуют, чтобы начальные концентрации составляющих и конечная концентрация были равны:

Кроме того, мы предполагаем равнораспределение энергий:

(12.16)

и все и условия, вместе взятые, требуют, чтобы в начальном состоянии давления и температуры обоих газов не различались. Введем для скобок в (12.12) обозначение

В силу наших предположений Q имеет одинаковое значение для обоих газов и сохраняет это значение на протяжении всего процесса смешивания газов. Отсюда имеем: до смешивания

(12.17)

после смешивания

Необратимое возрастание энтропии равно

(12.19)

Эта величина положительна, так как для и логарифм отрицателен. Мы имели в исходном состоянии некоторую информацию (связанную информацию) о системе:

(12.20)

и эта информация была потеряна в процессе диффузии газа. Можно сравнить (12.20) с формулой Шеннона (2.1) для информации. Газ в окончательно смешанном состоянии соответствует

ситуации с двумя символами с аириорными вероятностями . Роль символа здесь играет один из видов атомов. Выбор некоторой частной комбинации символов дает информацию на символ (Шеннон). Начальное состояние газа соответствует отбору атомов 1 и помещению их в , тогда как атомы 2 помещаются в . Для этого требуется информация, выражаемая (12.20).

Рассмотрим теперь несколько видоизмененную задачу, предположив, что атомы имеют спин 1/2, причем атомы вида 1 имеют ориентацию а вида . Столкновения вызовут переходы между двумя видами атомов, и в окончательном состоянии будем иметь:

(12.21)

с энтропией

(12.22)

Мы снова теряем информацию и увеличиваем энтропию

Окончательная энтропия равна энтропии (см. (12.13)) для газа со спином 1/2 с двумя равновероятными ориентациями. Наше рассуждение ясно показывает необходимость члена, зависящего от g, в формуле для энтропии и объясняет его физическое значение.

Возрастание энтропии соответствует потере информации, как и в предыдущих примерах. Сравним нашу формулу с результатами главы 2. Мы нашли (см. (2.18)), что выбор одной возможности из двух с априорными вероятностями дает информацию

(12.24)

на символ. Эта величина достигает максимума при

(12.25)

Если мы переходим от случая к случаю 1/2, 1/2, то информация изменяется на

на символ. Это в точности совпадает с (12.23).