2. Информация, содержащаяся в физическом законе

Мы испытали на многих примерах полезность нашего статистического определения количества информации. Теперь мы попытаемся распространить это определение на более общие проблемы и предложить некоторые возможные новые области применения.

В главах 14—16 мы исследовали информацию, получаемую при физическом эксперименте, и нашли, что количество информации не может быть определено, пока полностью не установлены пределы наблюдения (field of observation) и точность эксперимента. Мы встретимся со сходным положением в вопросе об информации, содержащейся в физическом законе. Для того чтобы дать точный ответ на такой вопрос, нужно прежде всего точно поставить вопрос и указать условия, в которых закон был получен, и как он будет применяться.

Рассмотрим, например, уравнение идеального газа

Мы должны установить область применения, указать, к какому газу уравнение применяется, каков диапазон изменения переменных р, v и Т и какую точность мы ожидаем получить.

Физический закон есть всего лишь итог экспериментальных результатов, и справедливость закона не может обсуждаться, если не указаны условия эксперимента. Имея в виду вышеприведенный пример, мы можем обсудить проблему в общем виде. Положим, что мы наблюдали некоторую физическую систему и измерили некоторые переменные . Для каждой переменной мы указываем диапазон изменения и наименьший интервал наблюдения :

переменная диапазон погрешность наблюдения

полное число экспериментальных точек на равно . После обсуждения результатов мы заключаем, что некоторое выражение

правильно отображает экспериментальные факты, с погрешностью никогда не превосходящей некоторого числа .

Но это еще не полная постановка задачи. Мы должны добавить еще одну величину, а именно, полный диапазон F изменения функции . Этот полный априорный диапазон изменения зависит от предыдущих знаний, которые мы имели до начала наших экспериментов. Если мы ничего не знаем о системе, то F определяется через пределы наших измерительных устройств. Таким образом, функция окончательно определяется на полном интервале F со ступенями и, следовательно, с числом возможных значений которые все равновероятны до того, как мы начали наши наблюдения. Итак, мы имеем:

различных точек наблюдения в многомерном пространстве и для каждой точки мы можем ожидать одного из значений . Число возможностей, таким образом, составляет:

и информация определяется по формулам (1.5) и (1.6)

Область изменения переменных, как предполагается в (20.5), представляет собой параллелепипед. Это ограничение не является необходимым. Мы можем иметь в многомерном пространстве объем U любой формы, и мы обозначим через а малый объем, соответствующий погрешности одного наблюдения. Это дает вместо (20.7)

и информация, содержащаяся в физическом законе, равна

Эта формула удовлетворяет следующим общим требованиям: чем точнее данные (т. е. чем меньше а и ) или чем шире диапазон наблюдений U, тем больше информация.

Применение логарифма, как указано в главе 1, необходимо для обеспечения аддитивности независимых наблюдений.

Мы можем теперь обсудить значение величины F, сравнивая информацию, получаемую последовательными шагами с возрастающей точностью. Предположим, что первая серия наблюдений дает функцию с погрешностью , тогда как вторая более точная серия экспериментов дает функцию с меньшей погрешностью . Таково, например, положение, когда закон Бойля (20.4) заменяется формулой Ван-дер-Ваальса. Равенство (20.11) дает соответствующее увеличение информации:

Эта формула совпадает с (20.11), за исключением того, что F и заменены на и . Величина F исключена. Она фактически играет роль аддитивной постоянной, сходной с неизвестной аддитивной постоянной во многих формулах для энтропии.

Этот пример показывает, что наше статистическое определение информации может применяться в весьма разнообразных примерах и приводит к интересным результатам.

Мак-Кэй обсуждал проблемы научной информации в двух недавних работах, в которых он пытался доказать, что различные определения приложимы в различных областях. Он называет селективной информацией величину, которую мы определили как информацию, и вводит термины структурная информация и метрическая информация. Эти последние термины применяются в связи с проблемами точности экспериментальных устройств. Наши исследования и рассуждения стремятся показать, что все эти проблемы могут и должны обсуждаться при помощи одних и тех же определений и формул. Если бы это было не так, мы, без сомнения, натолкнулись бы на несогласованность, так как области

применения различных формул перекрываются, и мы имели бы три различные и не связанные между собой теории информации вместо одной. Мы определенно ощущаем, что необходима только одна теория и что она может покрыть адекватным образом все поле исследований.