Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
Глава 5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ5.1. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ ДИСКРЕТНЫХ СООБЩЕНИЙИнформационные характеристики источников дискретных сообщений были определены в § 1.4. Их анализ показывает, что условная энтропия источника дискретных сообщений является его основной информационной характеристикой, через которую выражают большинство других. Поэтому целесообразно рассмотреть свойства условной энтропии и показать, как влияют на нее неравномерность распределения вероятностей появления символов-сообщений и статистические связи между символами. Если появление символа а зависит только от того, какой был в сообщении предыдущий символ
где Так как
где
В соответствии с условием нормировки
где
Следовательно, среднее количество информации, которое приносят два соседних символа, равно сумме среднего количества информации, которую приносит первый из них, и среднего количества информации, которую приносит второй, при условий, что первый уже появился. Поэтому условная энтропия одного символа (1.10) - это то среднее количество информации, которое приносит последующий символ при условии, что предыдущий уже известен:
Условная энтропия обладает следующим свойством: если символы
Следовательно,
Только для источников с независимыми символами
Так как
то существуют две причины, из-за которых уменьшается среднее количество информации, переносимое одним символом в реальных сообщениях: неравномерность распределения вероятностей появления различных символов и корреляционные связи между символами. В реальных сообщениях корреляционные связи существуют не только между двумя соседними символами, а и между производительность (1.12) отличаются от максимальных, а избыточность (1.11) велика. Рассмотрим двоичный источник и покажем, как влияют на энтропию, производительность и избыточность неравновероятное появление символов и корреляционные связи между ними. Обозначим символы источника через 5.1.1. Двоичный источник с независимыми равновероятными символами. В этом случае
Следовательно, 1 бит — это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений. Производительность такого источника максимальна, избыточность отсутствует. 5.1.2. Двоичный источник с независимыми неравновероятиыми символами. В этом случае
На рис. 5.1 показан график функции
больше нуля. Например, если
Следовательно, отклонение распределения вероятностей появления символов от равномерного приводит к снижению энтропии и увеличению избыточности источника.
Рис. 5.1. График функции (5.13) 5.1.3. Двоичный источник с коррелированными равновероятными символами. В этом случае найдем по формуле (1.10):
Пусть
Следовательно, наличие статистических связей между символами также приводит к уменьшению энтропии и увеличению избыточности источника. 5.1.4. Двоичный источник с коррелированными неравновероятными символами. Предположим, что
Отсюда
Условная энтропия
Подставив численные значения вероятностей, получим
Сравнение с данными п. 5.1.2 показывает, что корреляция соседних символов источника приводит к снижению энтропии и увеличению избыточности. Из-за влияния корреляции и неравномерности распределения вероятностей появления символов энтропия в приведенном примере примерно вдвое меньше максимальной, а избыточность примерно 49% (см. п. 5.1.1). Рассмотрение информационных характеристик двоичного источника показывает, что увеличить энтропию источника и уменьшить избыточность его сообщений можно двумя способами: «выравниванием» распределения вероятностей появления символов и «декорреляцией» символов сообщений — устранением корреляционных связей между символами. Эти идеи лежат в основе построения оптимальных эффективных кодов (см. § 5.3). Контрольные вопросы(см. скан)
|
1 |
Оглавление
|