4. Несколько общих замечаний

Из рассмотрения вышеприведенных задач можно сразу вывести несколько интересных заключений.

Получение информации о физической системе соответствует понижению энтропии этой системы. Низкая энтропия означает неустойчивое состояние, которое рано или поздно путем естественной эволюции перейдет в устойчивое состояние с высокой энтропией. Второе начало ничего не говорит нам о требуемом для этого времени, и поэтому мы не знаем, как долго система будет помнить информацию. Но если классическая термодинамика не в состоянии дать ответ на этот очень важный вопрос, то мы можем получить ответ из рассмотрения молекулярной или атомной модели с помощью кинетической теории: скорость затухания всякого рода волн, скорость диффузии, скорость протекания химических реакций и т. д. могут быть вычислены для подходящих моделей, и время установления может меняться от малых долей секунды до годов или столетий.

Такого рода задержки используются во всех практических приложениях: не так много времени требуется, чтобы серия импульсов (представляющих, например, точки и тире), передаваемая по электрическому кабелю, затухла и была забыта; однако этот короткий промежуток времени достаточно велик для передачи даже на большие расстояния, что и делает возможной дальнюю связь.

Система, способная удерживать информацию на некоторое время, может быть использована в качестве запоминающего устройства вычислительной машины. Примеры, обсужденные в предыдущем разделе, интересны не только в теоретическом отношении, они указывают также подход к практическим задачам. Рассмотрим, например, задачи о диффузии и распределении спинов (см. (12.15) - (12.26)). Они тесно связаны с магнитными запоминающими устройствами, так как

спин всегда ассоциируется с магнитным моментом. Следовательно, ситуация вроде описываемой равенством (12.15) означает, что объем V намагничен до насыщения в определенном направлении, тогда как объем V" намагничен в противоположном направлении. Информация, запасенная в этой системе, соответствует уменьшению энтропии. Наше рассуждение показывает, как это состояние постепенно разрушается диффузией и столкновениями, увеличивающими энтропию и стирающими информацию.

Энтропия обычно описывается как мера беспорядочности в физической системе. Более точно утверждение, что энтропия есть мера недостатка информации о действительной структуре системы. Этот недостаток информации приводит к тому, что возможно большое разнообразие различных микроструктур, которые мы практически не в состоянии отличить друг от друга. Так как каждая из этих различных микроструктур действительно может быть реализована в некоторый данный момент, недостаток информации соответствует действительному беспорядку в скрытых степенях свободы.

Эта картина хорошо разъясняется на примере идеального газа. Когда мы задаем общее число атомов n, их массу m, кратность вырождения g и полную энергию Е (см. (12.12)), мы не устанавливаем положений и скоростей каждого индивидуального атома. Это есть недостаток информации, приводящий к энтропии, выражаемой равенством (12.12). Так как мы не задаем положений и скоростей атомов, то мы не в состоянии различить две пробы газа, если различие состоит только в различии положений и скоростей атомов. Поэтому мы можем описывать ситуацию как беспорядочное движение атомов.

Источник современных представлений об энтропии и информации содержится в старой статье Силарда, основополагающая работа которого в свое время не была хорошо попята. Связь между энтропией и информацией была вновь открыта Шенноном, но он определял энтропию со знаком, обратным обычному термодинамическому определению.

Поэтому то, что Шеннон называет энтропией информации, в действительности означает негэнтропию. Это ясно видно на двух примерах (стр. 27 и 61 книги Шеннона), где Шеннон доказывает, что при некоторых необратимых процессах (необратимый преобразователь или фильтр) его энтропия информации убывает. Чтобы привести это в соответствие с нашими определениями, нужно изменить знак и читать негэнтропия).

Связь между энтропией и информацией ясно изложена в недавних статьях Ротштейна в полном согласии с точкой зрения, представленной в настоящей главе.