5. Усредненные выражения

Уравнения (18) и (19) позволяют подсчитывать передачу информации для частных значений х и у, но в приложениях теории информации больший интерес обычно представляет средняя передача информации. Мы можем усреднить по х так, как это сделал бы получатель, который, вообще говоря, не знает точного значения х, или по у так, как это сделал бы отправитель, или и по х и по у. Следующие выражения ясны сами по себе:

Так, например, есть средняя информация, передаваемая от отправителя к получателю в случае, когда на приемном конце появляется определенное у. Интересным свойством этого выражения (и подобно ему является то, что в отличие от оно может быть только положительным или нулем; интуитивно это кажется очевидным. Это легко доказать, варьируя функцию при заданной функции так, чтобы интеграл принял наименьшее значение, причем на налагается дополнительное условие — площадь под ней должна равняться единице. Интеграл, минимум которого нужно искать, есть, следовательно,

и, дифференцируя по мы получим условие

откуда

Подставляя в получим для него значение нуль; это и доказывает, что не может быть отрицательным (легко проверить, что мы нашли минимум, а не максимум). Так как I есть согласно (25) среднее от оно также должно быть всегда положительно, за исключением случая, когда х и у полностью независимы, тогда I равно нулю.

Чтобы завершить пример, приведенный в предыдущем параграфе, ниже перечисляются различные средние:

Все эти величины очень малы, и легко видеть, что это происходит, главным образом, из-за "шума". Без шума "да" вызывало бы каждый раз зеленое, а "нет—красное (или наоборот). Средняя передача информации была бы тогда равна а не как это было получено выше.

Формула для I может быть записана в нескольких эквивалентных формах, которые все могут быть выведены из (24). Например, написав и разложив логарифм, получим

Внеся во второй член, можно сразу проинтегрировать. по V, и мы получим

где

обозначает среднее по всем у с весовой функцией Выражения являются, очевидно, энтропиями априорных и апостериорных распределений Обозначение Шэннона несколько отлично от этого, ибо он включает операцию усреднения в свою Так как между х и у существует полная симметрия, мы можем также написать

Уравнение (30) выражает в явном виде утверждение, что прирост информации равен уменьшению энтропии.

Теория связи Шэннона [1,4] основана на выражениях, являющихся средними по всем х и у. Поэтому в оригинальной трактовке предмета фигурируют только и подобные им величины. Повидимому, единственным оправданием введения неусредненных выражений, подобных является большая, быть может, наглядность даваемой ими отправной точки.