6. Общие замечания

Одно общее замечание можно сделать сразу: любое ограничение, любое дополнительное условие, накладываемое на возможную свободу выбора, ведет к уменьшению информации.

Рассмотрим систему, представляющую Р различных возможностей, когда все переменные свободны. Когда мы налагаем на переменные ограничения, уменьшающие свободу выбора, эти условия исключают некоторые из ранее существовавших возможностей. Новое число возможностей Р с ограничениями должно быть, очевидно, меньше, чем первоначальное Р, и поэтому мы должны получить новое значение информации

без ограничений: Р возможностей, ;

с ограничениями: Р возможностей, при и

Пример предыдущего раздела, относящийся к применению букв, поясняет это. Когда буквы применяются свободно (одинаковые априорные вероятности), информация составляет 4,76 дв. ед на букву. Когда мы накладываем ограничение в соответствии с таблицей 1,1 и учитываем априорные вероятности различных букв, информация на букву падает до 4,03 дв. ед. Дополнительные ограничения приведут к дальнейшему уменьшению этой величины.

Другой способ объяснения этого общего положения состоит в том, чтобы представить ограничение как некоторую предварительную информацию о сообщении, которое нам предстоит выбрать; в таком случае

есть количество информации, которое остается получить, если известно.

Теперь нужно сказать несколько слов по поводу нашего способа рассуждения, чтобы показать пределы его применимости. Мы выбрали в (1.1) статистическое определение термина информация. Это математическое определение очень полезно при обсуждении многих научных и технических проблем. Оно позволит нам сделать некоторые выводы, имеющие действительное практическое значение и большую общность. Но это весьма точное определение ограничивает нас. Чтобы получить это определение, мы должны исключить и игнорировать многие из обычных значений слова информация.

Мы определяем информацию как результат выбора; мы не рассматриваем информацию как основание для предсказания, как результат, который может быть использован для того, чтобы сделать другой выбор. Мы полностью игнорируем человеческую оценку информации. Последовательности из 100 букв приписывается определенное значение информации, и мы не исследуем, имеет ли эта последовательность какой-либо смысл, и если да, имеет ли этот смысл какое-либо практическое значение. В соответствии с нашим определением совокупность 100 букв, выбранных случайным образом (согласно правилам таблицы 1.1), фраза в 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна имеют и точности одинаковое количество информации. Другими

словами, мы определяем информацию как нечто отличное от знания, для которого у нас нет количественной меры.

Мы не делаем различия между полезной и бесполезной информацией и предпочитаем полностью игнорировать ценность информации. Наше статистическое определение информации основано исключительно на редкости. Если ситуация встречается редко, она содержит информацию. Является ли эта информация ценной или никчемной — это нас не касается. Понятие ценности относится к возможному использованию живым наблюдателем. Это находится за пределами досягаемости нашей теории, и мы не намерены обсуждать процессы мышления и любые другие проблемы, связанные с использованием информации живыми существами).

Наше определение информации является, тем не менее, в высшей степени полезным и практичным. Оно в точности соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата.

Информация есть абсолютная величина, имеющая одно и то же численное значение для любого наблюдателя. Человеческая ценность информации, с другой стороны, должна быть относительной величиной, имеющей различные значения для различных наблюдателей, в соответствии с их способностью понять информацию и использовать ее в дальнейшем. Теорема Эйнштейна имела бы, вероятно, для математика гораздо большую ценность, чем заметка в газете. С другой стороны, для рядового читателя газетная новость может иметь ценность, а может и не иметь, тогда как теорема почти наверное не будет иметь для него ценности.

Возьмем более тривиальный пример. Информация при выборе одной из 32 карт составляет 5 дв. ед. (см. п. 2). Она всегда измеряется этим числом — 5 дв. ед., — хотя карта может быть тузом, семеркой или королем. Ценность этих карт зависит, однако, от правил игры.

В соответствии с нашим определением информация измеряется всегда положительной величиной. Ценность информации

может и в известных случаях должна считаться отрицательной. Профессор читает длинную лекцию, затем внезапно обнаруживает, что он сделал ошибку, и заключает: Простите, все это было неверно». Эта последняя фраза имеет отрицательную ценность и уничтожает ценность всей предшествующей информации).

Приведенные примеры ясно показывают пределы применимости данной теории; эти пределы нужно иметь в виду при любом применении теории.