4. Общие замечания

Теория информации возникла из проблем связи, и большая часть её современных приложений относится к этой области. Мы старались показать, что теория может быть также очень полезна в чистой науке, и в особенности в физике. Аналогия между информацией и энтропией была отмечена

Шенноном и восходит фактически к старой работе Силарда, выполненной в то время, когда практическая ценность теории еще не была осознана.

Информация и физическая энтропия имеют одинаковую природу. Энтропия есть мера недостатка детальной информации о физической системе. Чем больше информация, тем меньше энтропия. Информация представляет собой отрицательное слагаемое в энтропии системы, и мы установили негэнтропийный принцип информации.

Всякий раз, когда мы делаем наблюдение над физической системой, мы должны иметь разного рода источники негэнтропии. Мы используем эту негэнтропию и увеличиваем энтропию лаборатории, содержащей наблюдаемую систему и измерительные приборы. В результате мы получаем некоторое количество информации о системе. Увеличение энтропии, однако, всегда больше полученной информации.

Этот результат представляет собой обобщение принципа Карно, и мы проверили его справедливость на многочисленных примерах. Мы показали, таким образом, что теория информации не может быть построена как самостоятельная сущность. Связь с термодинамикой настолько тесна, что для обеспечения последовательности и полноты необходима физическая теория информации. Доказательство этого положения и является целью этой книги.

Практически теория даст для большинства задач чрезвычайно малые изменения энтропии физической системы. Информация измеряется обычно в двоичных единицах, а энтропия — в термодинамических единицах. Отношение этих единиц равно приблизительно , а это значит, что очень большое число двоичных единиц (скажем, 106) соответствует пренебрежимо малому изменению энтропии. Однако учет связи между обеими величинами необходим для логической полноты. Многие из задач, обсужденных в главах 16 и 17, были камнями преткновения. Они не могли бы быть решены без помощи нашей физической теории, и для их толкования необходима эта новая форма теории.

Очень малое значение негэнтропии, соответствующее очень большим количествам информации, является основной причиной того, что передача информации обычно обходится недорого. Письмо, печать и электрическая связь стоят очень немного в единицах энтропии. Соответственно низка и их денежная

стоимость. Современная жизнь основана на этих фактах, и она была бы совершенно иной в мире, в котором негэнтропия информации имела бы большую величину.

То обстоятельство, что в наших рассуждениях мы имели дело с такими ничтожными количествами, не должно нас обескураживать. Вначале казалось, что теория относительности дает лишь очень малые поправки к классической механике. Новые приложения к ядерной физике показывают теперь фундаментальное значение соотношения между массой и энергией. Можно надеяться, что и связь между энтропией и информацией выступит рано или поздно на первый план и мы откроем, где эта связь получает свое полное использование. Проблема измерения чрезвычайно малых расстояний, рассмотренная в главе 16, дает нам первый пример; другие могут вскоре последовать.