3. Прирост информации

Изящная простота формулировки (11) наводит на мысль искать к ней другие, более простые подходы. Можно привести, как мы вскоре увидим, убедительный и очень простой довод за то, чтобы взять — за исходное определение. Тем не менее, рассуждение, кратко проведенное в предыдущем параграфе, имеет фундаментальное значение, так как показывает, каким образом, в принципе, информация может быть закодирована в двоичные знаки (или в знаки любого другого набора). Мы можем теперь, однако, совсем забыть про двоичные знаки и перейти к более свободному и наглядному методу 18], основанному на представлении о передаче, а не о накоплении информации. (Точную математическую трактовку всего вопроса читатель найдет в оригинальной работе Шэннона.)

Когда принимается сообщение, состояние знания получателя или «наблюдателя» меняется. Теория связи оперирует с мерой такого рода изменений. До того, как сообщение принято, каждое из возможных его состояний имеет определенную вероятность появления; после того, как сообщение принято, в сознании наблюдателя

отбирается одно определенное состояние X, неопределенность, описываемая первоначальной вероятностью снимается и информация растет. Выражаясь математически, возрастает до единицы, а вероятности всех других состояний уменьшаются до нуля. В той мере, в какой это является адэкватным описанием происходящего изменения, его величина может быть измерена через Нет необходимости рассматривать отдельно априорные вероятности тех состояний, которые не появились; они могут быть все сведены в группу с вероятностью Необходимо теперь постулировать, что при приеме двух независимых сообщений общий прирост информации равен сумме отдельных приростов. Совместная вероятность равна и требуется найти функцию обладающую свойством

Хорошо известно, что единственной добропорядочной функцией, удовлетворяющей этому тождеству, является логарифм, а для того, чтобы прирост информации был положителен, мы возьмем

Это согласуется с полученным ранее результатом, согласно которому — есть количество информации в соответствующем состоянии запасенного сообщения и показывает непротиворечивость обоих подходов. (В действительности они представляют собой одно и то же.) Только что приведенное рассуждение было использовано Больцманом при выводе выражения для энтропии в статистической механике. Действуя дальше по атому направлению, мы найдем, что может быть получен вывод общей формулы Шэннона.

В практических системах связи на передающем конце выбирается определенное состояние сообщения, причем, если не приняты специальные меры предосторожности, случайные помехи или шум в канале или в приемнике сделает невозможным для наблюдателя, находящегося на приемном конце, отождествить с полной уверенностью переданное состояние. Передача сообщения удается лишь частично, и для описания происходящего процесса несовершенного выбора необходимо более общее определение прироста информации. В общем виде мы можем сказать, что состояние знания наблюдателя о частном сообщении X описывается до приема некоторой вероятностью после приема другой вероятностью До сих пор мы предполагали, что равно единице для действительно переданного состояния сообщения и нулю для всех остальных состояний. На практике такое положение никогда не может быть точно реализовано, хотя Шэннон показал, что при подходящем кодировании к нему можно подойти как угодно близко, несмотря на шум [1, 4]. Но даже при этом ясна необходимость более общего определения.

Допустим, что одно и то же сообщение передается дважды, причем при первой попытке оно подвергается действию шума.

Некоторое состояние сообщения X выбирается для передачи, кодируется, передается и принимается, в результате чего вероятность в приемнике меняется с на Сейчас не играет роли, как получены эти вероятности. Сообщение затем повторяется при гипотетических условиях, когда шум отсутствует, и вероятность меняется с на единицу. Общий прирост информации равен а прирост при одной второй посылке равен Если мы потребуем, чтобы при этих условиях информация была аддитивной, то прирост информации при первой посылке должен быть

где X — действительно переданное состояние. Это выражение может быть взято как более общее определение прироста информации.

Теперь мы видим яснее, что в соответствии с физическим смыслом энтропии — есть скорее мера незнания, чем информации. Прирост информации есть разность, а именно

В предыдущем параграфе конечное незнание предполагалось равным нулю, отсюда неясность, возникшая в связи со знаком

До сих пор мы занимались только состояниями дискретных сообщений, но в радиотехнических задачах нам часто приходится иметь дело с непрерывными величинами. Сообщение о дальности самолета, например, может иметь континуум возможных состояний, описываемый плотностью вероятности. Легко усмотреть обобщение (16) на непрерывные сообщения. Разобьем континуум значений некоторой переменной х на интервалы и напишем вместо Тогда прирост информации можно выразить, как

где плотности вероятности.

Выражение (16) становится отрицательным, если превышает Такое положение, как будет показано далее, вполне возможно. Сообщение несет отрицательную информацию, если переданное состояние сообщения производит случайно такое действие, на основании которого наблюдатель придает этому состоянию еще меньшую вероятность, чем та, которая существовала сначала.

Подведем итог: прирост информации определяется как логарифмическое приращение кажущейся вероятности того, что имеет место в действительности.