7.5. Энтропия системы

В гл. 6 было развито понятие энтропии источника информации, который в дальнейшем будет отмечаться буквой А. Энтропия измеряет среднее количество информации на символ источника или, другими словами, неопределенность, связанную с источником. Равенство означает, что источник неслучаен и максимальна, когда все равновероятны. Энтропия определяется равенством

Как уже отмечалось, энтропия обладает следующими свойствами: где - число входных символов; когда все символы источника равновероятны.

Материал, представленный в оставшейся части этой главы, дает систематическое применение оюнятия энтропии к модели системы (передачи сигналов.

B точном соответствии с (7.5.1) энтропию принятых символов следует определить равенством

Эта величина измеряет неопределенность выходных символов и обладает теми же свойствами, что и энтропия источника, поскольку все свойства выводились, исходя из выражения энтропии.

Аналогичные выражения для условной энтропии можно получить следующим образом. Имеем условную энтропию при заданном

Если усреднить (7.5.3) по всем используя, конечно, в качествеве весов соответствующие вероятности получим

Если проделать то же самое, начиная с передающего конца, то в соответствии с (7.5.3) получим условную энтропию при условии, что послан символ

Аналогично (7.5.4), усредняя на этот раз по входному алфавиту, получаем соответствующую условную энтропию

Рассмотрим теперь вместе оба конца канала. Для измерения неопределенности совместного события для источника и приемника определим аналогично совместную энтропию

Исследуем сначала совместную энтропию в частном случае, когда статистически независимы для всех (это означает, что выход не зависит от входа).

Условие независимости выражается равенством Поэтому совместная энтропия равна

Поскольку

получаем (при независимых входе и выходе)

Обычно выход канала зависит, по крайней мере частично, от входа (в противном случае зачем использовать канал?). Тогда можно записать

и совместная энтропия равна

Но Поэтому

Совместная энтропия равна сумме энтропии источника и условной энтропии при заданном А.

Условная энтропия представляет собой потерю информации в канале при движении от входа к выходу. Она соответствует величине, которую нужно добавить к энтропии источника для того, чтобы получить совместную энтропию. Обычно называется неопределенностью, а также энтропией шума в канале.

Поскольку симметричны, то имеется, конечно, соотношение, аналогичное (7.5.9):

Таким образом, в этом разделе были определены различные энтропии: равенством равенством равенством равенством равенством (7.5.3) и равенсвом (7.5.5). Каждая из этих энтропий определяется соответствующим распределением вероятностей.