7. Процессы, разрушающие информацию

Подобно тому, как энтропия замкнутой физической системы имеет общую тенденцию возрастать, запасенная информация обнаруживает аналогичную тенденцию уменьшаться. Рано или поздно тепловое движение сумеет преодолеть любые потенциальные барьеры, воздвигнутые нами для того, чтобы удержать запасающее устройство в некотором фиксированном состоянии. При обычных температурах постоянная времени макроскопической системы может

составлять тысячи лет, тем не менее она (конечна. Информация, первоначально достоверная, стремится стать недостоверной и, в конце концов, полностью расстраивается. Подобно этому и подавно каждый раз, когда над информацией от источника х производятся какие-либо манипуляции, информация стремится уменьшиться и заведомо не может возрасти, поскольку все связи с х порваны. Как будет сейчас показано математически, если сообщение х дает эффект у, никакая операция над у (без новых обращений к не может увеличить информацию относительно х, содержащуюся в у. Это кажется заранее физически очевидным, но только установление такого рода теорем оправдывает применяемые нами математические определения.

Начнем с предварительной теоремы. Допустим, что есть заданное, — неизвестное распределение вероятностей. Тогда выражение

максимально относительно изменений когда

Доказательство почти очевидно, оно уже приводилось в гл. III, § 5. Рассмотрим теперь систему, изображаемую схемой

Здесь источник информации, стрелка между х и у — система связи, а у — эффект, производимый Следующая стрелка изображает операцию, посредством которой у превращается в дальнейшее представление х. Она может изображать, например, превращение высокочастотного колебания в картину на экране электронно-лучевой трубки. Необходимо подчеркнуть, что здесь существуют некоторые статистические связи между х и у, а также но не между непосредственно. Это условие может быть выражено аналитически уравнением

из которого следует на основании теорем теории вероятностей, что

или

Средняя передача информации между х и у может быть теперь записана следующим образом:

Обычно нет необходимости учитывать при рассмотрении связи такую не относящуюся к делу переменную как но так как по ней производится усреднение, она здесь не мешает. Подобным образом, передача от с излишним учетом может быть записана так:

Сравнивая (49) и (52), можно заключить с помощью предварительной теоремы, используя соответствие что

что и требовалось доказать. Равенство выполняется только, если

для всех значений Выражение (54) можно также записать

Выражаясь словами, связь между может быть необратимой, но если при этом неопределенность в у при заданном такова, что никакие тайные сведения об х не могут способствовать ее устранению, то никакая информация об х не разрушается при переходе от у к