1.4. Источник сообщений
Рассмотрим источник сообщений. Теория кодирования итеория информации во многом обязаны своей силой тому, что они не определяют, что такое информация, а просто предполагают, что задан источник сообщений как последовательность символов 
алфавита источника. В гл. 6 показано, что теория информации использует энтропию 
как меру информации, и 
позволяет определить, что значит количество информации. Однако такое определение является абстрактным, оно лишь частично согласуется с общепринятыми представлениями об информации. Возможно, именно цредставление о том, что здесь удалось формализовать и трактовать общие понятия информации, привело к такой популярности теории информации на ее ранних этапах; различия в несходных ситуациях не были замечены, и считалось, что теория применима во всех случаях. Данное определение приводит к правильной мере информации во многих случаях (например, при хранении и передаче данных) и поэтому люди стали думать, что у них имеется одна из таких ситуаций, но они часто ошибались. Теория информации имеет дело не со смыслом информации, а лишь с ее количеством.
Источник сообщений может быть самым различным: например, книга, печатное формальное уведомление и финансовый отчет компании в равной мере являются источниками сообщений в обычном алфавите. Танец, музыка и другие формы человеческой деятельности приводят к различным формам (символам) выражения содержащейся в них информации и поэтому также могут считаться источниками сообщений. Математические равенства — это еще один источник сообщений. Рассматриваемые ниже коды являются различными способами представления информационных символов источника.
Информация может существовать также в непрерывной форме; Действительно, природа обычно приводит к информации именно в такой форме. Однако на практике задача состоит в том, чтобы брать отсчеты непрерывного сигнала через равные промежутки времени и затем переводить их в цифровую форму (квантовать; 
Затем информация посылается как последовательность
цифр. Одна из причин использования цифровых отсчетов аналогового сигнала заключается в том, что они могут передаваться надежнее, чем аналоговый сигнал. Когда неизбежный шум в системе передачи начинает искажать сигнал, цифровые импульсы могут быть приняты (детектированы), преобразованы и переведены в стандартную форму до того, как их отправят далее к получателю. В пункте назначения цифровые импульсы могут, при желании, быть переведены снова в аналоговую форму. Аналоговые сигналы не могут быть преобразованы в стандартную форму таким же способом, и поэтому чем дольше сигнал передается и чем больше он обрабатывается, тем сильнее он искажается за счет малых ошибок.
Другая причина использования цифровых методов в современных системах состоит в том, что в настоящее время интегральные схемы очень дешевы, и служат мощным аппаратом для гибкой и надежной обработки и преобразования цифровых сигналов.
Хотя в теории информации есть раздел, посвященный аналоговым сигналам, ограничимся цифровыми сигналами вследствие большей простоты теории, а также потому, что, как отмечалось выше, значение аналоговых сигналов в технике постепенно уменьшается. Почти все мощные большие ЭВМ являются цифровыми, и в системах обработки информации они почти полностью заменили прежние аналоговые машины. На 1979 г. осталось лишь несколько больших гибридных систем общего назначения. Большинство наших систем передачи информации, включая обычный телефон, быстро переводятся в цифровые.
