Кодирование информации

Важность введения количественной меры информации Я состоит в том, что она определяет возможную экономию времени, затрачиваемого на передачу, экономию, достижимую при соответствующем выборе системы кодирования, учитывающей статистические свойства источника сообщений. Для иллюстрации рассмотрим язык, в котором имеются лишь четыре буквы: А, В, С и D; пусть эти буквы имеют вероятности как и на рис. 2, в.

В длинном тексте на этом языке А будет занимать половину всего текста, В — одну четверть и т. д. Предположим, что этот язык должен кодироваться двоичными знаками 0 и 1. Это может значить, что требуется передать текст посредством импульсной системы с двумя типами импульсов. Самый простой код таков: Этот код требует два двоичных знака на букву сообщения. При учете статистической природы текста можно сконструировать следующий, более хороший код: Легко проверить, что здесь исходное сообщение может быть восстановлено декодированием. Далее, число использованных двоичных знаков в среднем уменьшится. Действительно, оно вычисляется следующим образом:

где первый член относится к букве А, которая встречается в половине всех случаев и которой соответствует один двоичный знак и т. д. Заметим, что 13/4 есть в точности значение Я, вычисленное для рис. 2, в.

Результат, который был проверен для этого специального случая, выполняется всегда. Если на букву приходится в сообщении Я битов, то возможно закодировать это сообщение с использованием в среднем только Я двоичных знаков на букву текста. Не существует метода кодирования, который использует меньшее число двоичных знаков.