Глава 1. Введение
1.1. Краткая аннотация
Хотя в книге используются такие красивые слова как информация, передача и кодирование, при более близком рассмотрении оказывается, что они в действительности представляют лишь источник сообщений с символами 
Вначале ни о самих символах, ни о смысле, который в них может содержаться, ничего не говорится. Предполагается только, что они однозначно различимы.
Далее вводятся вероятности 
появления символов. Вопрос о том, как найти 
в абстрактную теорию не входит. Для каждого дискретного распределения вероятностей определено значение энтропии 
Функция 
зависящая от распределения вероятностей 
измеряет количество неопределенности, неожиданности или информации, содержащееся в распределении. Эта функция играет основную роль в теории и дает нижнюю границу для средней длины кода. В дальнейшем также рассматриваются более сложные вероятностные структуры, связанные с символами 
Проблема представления символов алфавита источника 
с помощью другой системы символов (обычно двоичной, состоящей из символов 
и 1) составляет основную тему книги. Она сводится к следующим двум главным задачам.
1. Требуется представить символы источника так, чтобы их представления были в некотором смысле далеки друг от друга. В результате, несмотря на небольшие изменения (шум) этих представлений, изменившиеся символы могут быть опознаны как неправильные и, возможно, даже исправлены.
2. Для повышения эффективности требуется представить символы источника в некоторой минимальной форме. Тогда минимизируется средняя длина кода 
где 
длина представления 
символа 
Энтропия дает нижнюю границу для 
.
Таким образом, по существу, это — абстрактная математическая теория представления символов произвольного источника с помощью заданного алфавита (обычно двоичного). В этой теории нет передачи, хранения информации, шума, добавляемого к сигналу. Все это лишь красивые слова, используемые для мотивировки теории. Будем продолжать использовать их, но читатель не должен обманывать себя — предлагаемая теория является лишь теорией представления символов.
