Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике 5. Усредненные выраженияУравнения (18) и (19) позволяют подсчитывать передачу информации для частных значений х и у, но в приложениях теории информации больший интерес обычно представляет средняя передача информации. Мы можем усреднить по х так, как это сделал бы получатель, который, вообще говоря, не знает точного значения х, или по у так, как это сделал бы отправитель, или и по х и по у. Следующие выражения ясны сами по себе:
Так, например, есть средняя информация, передаваемая от отправителя к получателю в случае, когда на приемном конце появляется определенное у. Интересным свойством этого выражения (и подобно ему является то, что в отличие от оно может быть только положительным или нулем; интуитивно это кажется очевидным. Это легко доказать, варьируя функцию при заданной функции так, чтобы интеграл принял наименьшее значение, причем на налагается дополнительное условие — площадь под ней должна равняться единице. Интеграл, минимум которого нужно искать, есть, следовательно,
и, дифференцируя по мы получим условие
откуда
Подставляя в получим для него значение нуль; это и доказывает, что не может быть отрицательным (легко проверить, что мы нашли минимум, а не максимум). Так как I есть согласно (25) среднее от оно также должно быть всегда положительно, за исключением случая, когда х и у полностью независимы, тогда I равно нулю. Чтобы завершить пример, приведенный в предыдущем параграфе, ниже перечисляются различные средние:
Все эти величины очень малы, и легко видеть, что это происходит, главным образом, из-за "шума". Без шума "да" вызывало бы каждый раз зеленое, а "нет—красное (или наоборот). Средняя передача информации была бы тогда равна а не как это было получено выше. Формула для I может быть записана в нескольких эквивалентных формах, которые все могут быть выведены из (24). Например, написав и разложив логарифм, получим
Внеся во второй член, можно сразу проинтегрировать. по V, и мы получим
где
обозначает среднее по всем у с весовой функцией Выражения являются, очевидно, энтропиями априорных и апостериорных распределений Обозначение Шэннона несколько отлично от этого, ибо он включает операцию усреднения в свою Так как между х и у существует полная симметрия, мы можем также написать
Уравнение (30) выражает в явном виде утверждение, что прирост информации равен уменьшению энтропии. Теория связи Шэннона [1,4] основана на выражениях, являющихся средними по всем х и у. Поэтому в оригинальной трактовке предмета фигурируют только и подобные им величины. Повидимому, единственным оправданием введения неусредненных выражений, подобных является большая, быть может, наглядность даваемой ими отправной точки.
|
1 |
Оглавление
|