Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
2.3. НЕКОТОРЫЕ ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ2.3.1. ИНФОРМАЦИЯ, ЭНТРОПИЯПолучение информации можно свести к последовательности процессов выбора определенного символа из заданного набора. Заданный набор символов, который всегда должен содержать конечное число различных символов, в общем случае называется алфавитом. Каждому символу Появление определенного символа
Если каждому событию
Каждому событию Совместное появление двух взаимно независимых событий,
и так как
т.е.
Последнее выражение представляет собой функциональное уравнение логарифмической функции. Отсюда при использовании логарифма по основанию 2 с некоторым свободным параметром К получается
Параметр К определяется исходя из того, что решение об одном
Выражение (2.6) можно рассматривать как определение понятия информации [2.11]. Информация, согласно (2.6), тем больше, чем менее вероятно появление соответствующего события. Наоборот, событие, которое можно предсказать с достоверностью Информация
Если все
В этом случае энтропия максимальна и в общем справедливо
Отклонение энтропии
«Относительная» избыточность
Для передачи данных особенно важен двоичный источник, алфавит которого состоит только из символов 0 и 1:
По предложению -вероятностью дают относительно большой вклад в энтропию
Рис. 2.5. Функция Шеннона Название «энтропия» для математического ожидания информации в поле событий первоначально было введено К. Э. Шенноном [2.4, 2.5] только на основе формальной аналогии с результатами Л. Больцмана, касающимися термодинамической энтропии. Однако, кроме этого, существует и физическая связь между обоими понятиями энтропии
|
1 |
Оглавление
|