Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
4.3.4. Кодирование
источника дискретных сообщений методом Шеннона-Фано
Кодирование методом
Шеннона – Фано рассмотрим на примере. Пусть алфавит источника содержит шесть
элементов {А, Б, В, Г, Д, Е},
появляющихся с вероятностями 
, 
, 
, 
, 
, 
. Энтропия такого источника:
Алгоритм построения
сжимающего кода Шеннона
– Фано заключается в следующем.
1. Все 
символов дискретного
источника располагаются в порядке убывания вероятностей их появления (табл.
4.2).
Таблица 4.2. Построение кода Шеннона-Фано
2. Образованный столбец
символов делится на две группы таким образом, чтобы суммарные вероятности
каждой группы мало отличались друг от друга.
3. Верхняя группа
кодируется символом «1», а нижняя – «0».
4. Каждая группа делится
на две подгруппы с близкими суммарными вероятностями; верхняя подгруппа
кодируется символом «1», а нижняя – «0».
5. Процесс деления и
кодирования продолжается до тех пор, пока в каждой подгруппе не окажется по одному
символу сообщения источника.
6. Записывается код для
каждого символа источника; считывание кода осуществляется слева направо.
При использовании
простейшего равномерного кода для кодирования шести элементов алфавита
источника потребуется по три двоичных символа на каждую букву сообщения. Если
же используется код Шеннона – Фано, то среднее число символов на одну букву
|
 ,
|
что меньше, чем при простейшем
равномерном коде и незначительно отличается от энтропии источника.
