ГЛАВА 12. НЕГЭНТРОПИЙНЫЙ ПРИНЦИП ИНФОРМАЦИИ

1. Связь между информацией и энтропией

Количественное определение информации, основанное на статистических представлениях, было дано в главе 1.

Мы рассматриваем ситуацию, в которой имеется различных возможных случаев или событий с одинаковыми априорными вероятностями. Для уменьшения числа возможных случаев до требуется информация и логарифм отношения есть мера (см. (1.6)):

где

В термодинамических единицах постоянной Больцмана.

Мы введем теперь различие между двумя видами информации:

1. Свободная информация (free information) , возникающая, когда возможные случаи рассматриваются как абстрактные и не имеющие определенного физического значения.

2. Связанная информация (bound information) , возникающая, когда возможные случаи могут быть представлены как микросостояния физической системы. Таким образом, связанная информация есть специальный случай свободной.

Основание для введения этого различия состоит в том, что мы намереваемся обсуждать связь между информацией и энтропией (и ее отрицанием — негэнтроиией) и предпочитаем применять термин энтропия только в обычном термодинамическом смысле.

Таким образом, только информация, возникающая в определенных физических задачах, т. е. связанная информация, будет представляться связанной с энтропией.

Для установления соотношения между связанной информацией и энтропией будем рассматривать равновероятные случаи как микросостояния. Тогда имеем следующую картину:

Очевидно, что в этой схеме система не изолирована: энтропия убывает с получением информации, уменьшающей число мнкросостояний, и эта информация должна доставляться внешним агентом, энтропия которого будет возрастать. Связь между уменьшением энтропии системы и требуемой информацией очевидна, так как согласно (12.1)

или

(12.3а)

Связанная информация появляется в качестве отрицательного слагаемого полной энтропии физической системы, и из этого мы заключаем, что

где негэнтропия определена как отрицательная энтропия. Это положение составляет негэнтропийный принцип информации. Мы обсудим это соотношение на ряде примеров и покажем, как информация может быть превращена в негэнтропию, и обратно.

В случае свободной информации предпочтительно не говорить о связи между информацией и энтропией, так как соотношение между энтропией и числом случаев определено только, если рассматриваемые случаи являются микросостояниями физической системы.