11. Примеры
В качестве простого примера использования некоторых из полученных результатов рассмотрим источник, создающий последовательность букв, выбранных из набора букв А, В, С, D с вероятностями 1/2, 1/4, 1/8, 1/8, причем очередная буква выбирается независимо. Имеем
Таким образом, для кодирования сообщений этого источника двоичными знаками в пределе достаточно в среднем 7/4 битов на символ. В этом случае можно действительно достигнуть предельного значения, применяя следующий код (полученный по методу второго доказательства теоремы 9):
Среднее число битов, потребных для кодирования последовательности из 
символов, будет равно
Легко видеть, что двоичные знаки 0 и 1 имеют вероятности 1/2, 1/2, так что Н для кодированных последовательностей равна одному биту на символ. Так как в среднем мы имеем 7/4 двоичных знаков на первоначальную букву, то энтропия на единицу времени будет той же самой. Максимальная возможная энтропия для первоначального набора букв равна 
и достигается, когда А, В, С, D обладают вероятностями 1/4, 1/4; 1/4; 1/4. Отсюда относительная энтропия равна 7/8. Можно перевести двоичные последовательности в первоначальные символы в соотношении 2 к 1, основываясь на следующей таблице:
Тогда этот двойной процесс закодирует первоначальное сообщение в те же самые символы, но со средним коэффициентом сжатия 7/8.
В качестве второго примера рассмотрим источник, который создает последовательность из букв А и В, выбираемых с вероятностями 
для А и q для В. Если 
то имеем
В этом случае можно создать достаточно хорошую систему кодирования сообщений для двоичного канала, посылая специальный символ, скажем 0000, в случае, когда нужно передать редкий символ А, а затем, посылая последовательность, указывающую число букв В, следующих за ним. Это число может быть указано путем представления в двоичной системе, причем все числа, содержащие специальную последовательность, исключаются. Все числа до 16 изображаются, как обычно; 16 представляется следующим после 16 двоичным числом, которое не содержит четырех нулей, а именно 
Можно показать, что при 
это кодирование приближается к идеальному, если только длина специальной последовательности выбрана правильно.
