Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 1.4. Условная информация. Условная энтропияПусть
которая называется условной собственной информацией сообщения х при фиксированном сообщении у. Как и раньше,
называется условной энтропией ансамбля X относительно сообщения Условную энтропию Определение 1.4.1. Математическое ожидание
Замечание. Следует помнить, что условная вероятность Мы ввели условную энтропию Теперь мы продолжим рассмотрение свойств энтропии и условной энтропии. 1. Условная энтропия не превосходит безусловной энтропии того же ансамбля:
причем равенство имеет место в том и только том случае, когда ансамбли Доказательство этого неравенства проводится с помощью неравенства для логарифма (1.3.7):
Равенство выполняется в том и только в том случае, когда 2. Математическое ожидание
по определению представляет собой энтропию ансамбля
Аналогично, используя соотношение
Эти свойства также называются свойствами аддитивности энтропии. В случае независимых ансамблей соотношения (1.4.7) и (1.4.8) переходят в (1.3.8). 3. Предположим, что задан ансамбль
и знак равенства имеет место в том и только том случае, когда отображение Для доказательства неравенства (1.4.9) заметим, что совместное распределение вероятностей
Таким образом, при произвольных отображениях, задаваемых функцией 4. Пусть
— условная собственная информация сообщения х при фиксированной паре сообщений
Число
называется условной энтропией ансамбля X относительно пары ансамблей Имеет место следующее неравенство:
которое доказывается таким же методом, как и неравенство (1.4.4). Равенство в (1.4.14) выполняется в том и только том случае, когда Это неравенство легко обобщается на случай
Его левая и правая части определены, как и в (1.4.13), а именно, как математические ожидания соответствующих информаций. Для вывода еще одного важного неравенства заметим, что для любой последовательности
где
и
Тогда
где
— условная собственная информация сообщения
Используя (1.4.15), можно записать
|
1 |
Оглавление
|