Глава 5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ

5.1. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ ДИСКРЕТНЫХ СООБЩЕНИЙ

Информационные характеристики источников дискретных сообщений были определены в § 1.4. Их анализ показывает, что условная энтропия источника дискретных сообщений является его основной информационной характеристикой, через которую выражают большинство других. Поэтому целесообразно рассмотреть свойства условной энтропии и показать, как влияют на нее неравномерность распределения вероятностей появления символов-сообщений и статистические связи между символами.

Если появление символа а зависит только от того, какой был в сообщении предыдущий символ то образование сообщений описывают простой марковской цепью (см. п. 4.3.2). Энтропию совместного появления двух символов определяют, применяя операцию усреднения по всему объему алфавита:

где вероятность совместного появления символов количество информации, которое приходится на слог

Так как

где вероятности появления - вероятность появления при условии, что перед ним появился вероятность появления при условии, что перед ним появился то выражение (5.1) можно представить в виде

В соответствии с условием нормировки поэтому

где энтропия источника (1.8); условная энтропия источника. Используя второе произведение в (5.2), аналогично получим

Следовательно, среднее количество информации, которое приносят два соседних символа, равно сумме среднего количества информации, которую приносит первый из них, и среднего количества информации, которую приносит второй, при условий, что первый уже появился.

Поэтому условная энтропия одного символа (1.10) - это то среднее количество информации, которое приносит последующий символ при условии, что предыдущий уже известен:

Условная энтропия обладает следующим свойством: если символы взаимозависимы, то

Следовательно,

Только для источников с независимыми символами

Так как

то существуют две причины, из-за которых уменьшается среднее количество информации, переносимое одним символом в реальных сообщениях: неравномерность распределения вероятностей появления различных символов и корреляционные связи между символами. В реальных сообщениях корреляционные связи существуют не только между двумя соседними символами, а и между символами. Говорят, что источник имеет память на I символов. Формула (1.10) выведена для случая . Аналогично определяют условную энтропию для более общих случаев, когда Для реальных источников энтропия (1.8) и

производительность (1.12) отличаются от максимальных, а избыточность (1.11) велика.

Рассмотрим двоичный источник и покажем, как влияют на энтропию, производительность и избыточность неравновероятное появление символов и корреляционные связи между ними. Обозначим символы источника через вероятности их появления через соответствующие условные вероятности через

5.1.1. Двоичный источник с независимыми равновероятными символами. В этом случае условные вероятности равны нулю. Энтропия такого источника максимальна:

Следовательно, 1 бит — это максимальное среднее количество информации, которое может переносить один символ источника двоичных сообщений. Производительность такого источника максимальна, избыточность отсутствует.

5.1.2. Двоичный источник с независимыми неравновероятиыми символами. В этом случае условные вероятности равны нулю. Энтропия такого источника

На рис. 5.1 показан график функции Эта функция достигает максимума бит/симв. при и равна нулю при Так как при то производительность такого источника меньше максимальной, а избыточность

больше нуля.

Например, если то бит/симв.,

Следовательно, отклонение распределения вероятностей появления символов от равномерного приводит к снижению энтропии и увеличению избыточности источника.

Рис. 5.1. График функции (5.13)

5.1.3. Двоичный источник с коррелированными равновероятными символами. В этом случае условные вероятности не равны нулю, Предположим, что Условную энтропию источника

найдем по формуле (1.10):

Пусть тогда

Следовательно, наличие статистических связей между символами также приводит к уменьшению энтропии и увеличению избыточности источника.

5.1.4. Двоичный источник с коррелированными неравновероятными символами. Предположим, что Для определения условной энтропии необходимо определить вначале вероятности Воспользуемся формулой полной вероятности, тогда

Отсюда

Условная энтропия

Подставив численные значения вероятностей, получим

Сравнение с данными п. 5.1.2 показывает, что корреляция соседних символов источника приводит к снижению энтропии и увеличению избыточности. Из-за влияния корреляции и неравномерности распределения вероятностей появления символов энтропия в приведенном примере примерно вдвое меньше максимальной, а избыточность примерно 49% (см. п. 5.1.1).

Рассмотрение информационных характеристик двоичного источника показывает, что увеличить энтропию источника и уменьшить избыточность его сообщений можно двумя способами: «выравниванием» распределения вероятностей появления символов

и «декорреляцией» символов сообщений — устранением корреляционных связей между символами. Эти идеи лежат в основе построения оптимальных эффективных кодов (см. § 5.3).

Контрольные вопросы

(см. скан)