2.9. Средняя взаимная информация

Кроме рассмотренных величин, важную роль в изучении проблем связи играет среднее значение взаимной информации между точками различных пространств. Мы хотим исследовать его свойства и, в частности, его соотношения с различными энтропиями, которые могут быть определены для того же самого произведения ансамблей.

Рассмотрим сначала условное среднее значение взаимной информации для произведения ансамблей XV, определяемое равенством (2.86). Из этого равенства имеем

Теорема. Для заданного произведения ансамблей условное среднее значение взаимной информации удовлетворяет неравенству

в котором знак равенства имеет место тогда и только тогда, когда

т. е. когда х статистически не зависит от

Доказательство. Эту теорему можно легко доказать с помощью неравенств (2.91). Имеем

Знак равенства имеет место тогда и только тогда, когда переменная в выражении (2.91) равна 1, т. е. когда удовлетворяется равенство (2.109). Ч. Т. Д.

Свойство, выраженное равенством (2.108), оказывается особенно важным, когда является символом, принятым на выходе канала с шумом, какое-либо из сообщений, могущих быть переданными. Тогда неравенство (2.108) устанавливает, что средняя информация, содержащаяся в принятом символе относительно переданного сообщения, всегда неотрицательна. В этой связи следует заметить, что, в то время как информация относительно некоторого сообщения, содержащаяся в принятом символе, может быть отрицательна, на приемном конце нельзя определить ее значения, так как там не знают в точности переданного сообщения. С другой стороны, величина которая неотрицательна, может быть, по крайней мере в принципе, всегда определена на приемном конце. Тем самым наши результаты согласуются с интуитивным представлением о том, что информация, получаемая при приеме некоторого символа, никогда не будет отрицательна.

В силу свойства симметрии взаимной информации из неравенства (2.108) следует, что

Последнее неравенство означает, что если есть сообщение, передаваемое по каналу с шумом, то средняя информация о полученная по этому каналу, неотрицательна. Это опять-таки соответствует нашему интуитивному представлению о том, что полученная информация не может быть отрицательна, если она оценивается надлежащим образом на передающем конце.

Рассмотрим далее среднее значение взаимной информации, определяемое равенством (2.82),

Неотрицательность этой величины немедленно вытекает из выражения (2.111). Ее основные свойства можно легко получить, усредняя соотношения (2.18), (2.57), (2.108), (2.69), (2.22) и (2.25) по произведению ансамблей Получаем

Все эти равенства, кроме одного, не требуют никаких дополнительных пояснений. Равенство (2.116) устанавливает очевидное соотношение между средней взаимной информацией и тремя энтропиями, относящимися к тому же самому произведению ансамблей. Из равенств (2.98) и (2.116) мы получаем следующие два различных выражения для средней взаимной информации:

Эти два выражения особо интересны, когда х является сообщением, передаваемым по каналу связи с шумом, а у — соответствующим принятым сигналом. В этом случае соотношение (2.119) устанавливает, что среднее количество информации о сообщении, содержащееся в принятом сигнале, равно среднему количеству информации, требуемому для определения сообщения х минус среднее количество информации, которое все еще

потребуется для определения х после приема сигнала. В связи с такой интерпретацией соотношения (2.119) мы понимаем энтропию как среднее количество переданной информации; как среднее количество информации, полученной о переданном сообщении, и условную энтропию как среднее количество информации, потерянное вследствие шума, или, короче, как «ненадежность».

Равенством (2.120) подчеркивается другой взгляд на среднее количество информации, а именно как на разность между средним количеством информации, необходимым для определения принятого сигнала, и средним количеством информации, необходимым для определения того же сигнала, когда известно переданное сообщение. Следовательно, есть среднее количество информации, необходимое для определения помехи, имеющей место в канале, и мы можем понимать эту величину как энтропию шума в канале. Другими словами, является частью энтропии У, которая возникает вследствие шума в канале.

Возвращаясь к равенству (2.119), можно также сказать, что разность в правой части выражает среднее изменение неопределенности переданного сообщения, вызванное приемом сигнала у. Эта интерпретация основана на том факте, что может быть получено усреднением по ансамблю У энтропии (неопределенности) X при условии, что задано значение

Отсюда, однако, нельзя сделать вывода, что разность представляет собой среднее количество информации, доставляемое при приеме у и во всяком случае, в смысле меры информации, определенной в разд. 2.3. В самом деле, из выражения (2.107) видно, что

Разность в правой части представляет собой изменение среднего количества информации, получающегося при наложении условия на ансамбль X и необходимого для определения всех х. С другой стороны, представляет собой среднее изменение количества информации, необходимое для определения того частного х, которое получается при приеме у Иначе говоря, умножается на при суммировании в правой части выражения (2.122) и на в сумме в левой части.

Фундаментальное различие между правой и левой частями соотношения (2.122) становится особенно очевидным, когда полностью определяет некоторое когда В этом случйе

т. е. когда однозначно определяет тогда среднее значение взаимной информации, содержащейся в относительно символов ансамбля X, равно собственной информации о х С другой стороны, прием изменяет энтропию X от значения до нуля и, следовательно, разность между априорной и апостериорной энтропиями равна как раз