очевидно, 0), то никакой неожиданности, никакой информации нет, поскольку заранее известно, каким должно быть сообщение. Если вероятности сильно отличаются друг от друга, то появление маловероятного символа является более неожиданным и при этом получается большее количество информации, чем при появлении высоковероятного символа. Таким образом, в некотором смысле информация образца вероятности появления.
Представляется естественным, что удивление аддитивно; информация от двух различных независимых символов равна сумме информаций от каждого из них в отдельности. Поскольку для получения вероятности составного события нужно перемножить вероятности двух независимых событий, количество информации естественно определить как 
Поэтому в результате имеем
Эта формула показывает, что произведение вероятностей соответствует сумме информаций. Таким образом, определение согласовано с многими нашими представлениями о том, чем должна быть информация.
Понятия неопределенность, неожиданность и информация связаны между собой. Прежде чем событие (эксперимент, прием символа сообщения и т. д.) произойдет, имеется количество неопределенности; когда событие происходит, возникает количество неожиданности; после того как оно произошло, имеется выигрыш в количестве информации. Все эти величины равны между собой.
Такое определение является техническим, основанным на вероятностях, а не на смысле, который могут нести символы для человека, принимающего сообщение. Этот факт сильно смущает тех, кто смотрит на теорию информации со стороны; они не понимают, что это в высшей мере техническое определение включает в себя лишь часть того разнообразия, которое содержится в обычном понятии информации.
Для того чтобы увидеть, в чем это определение противоречит здравому смыслу, зададим следующий вопрос: «Какая книга содержит больше всего информации? Вопрос, конечно, нужно стандартизировать, указав размер книги, страницы и тип шрифта, а также множество используемых знаков (алфавит). После этого, ответ, очевидно, будет таким: «Больше всего информации содержит книга, текст которой является полностью случайным!» Каждый новый символ должен быть абсолютно неожиданным (обоснование этого утверждения содержится в разд. 6.4).
Какое основание логарифма следует использовать? Ответ на этот вопрос определяется лишь из соображений удобства; поскольку все логарифмы пропорциональны, друг другу. Это непосредственно вытекает из основного соотношения
Удобно использовать логарифмы по основанию 2; получающаяся единица информации называется битом (двоичной единицей). В случае основания 
(его приходится использовать при некоторых. аналитических рассмотрениях) единица информации называется натом. Наконец, иногда применяется основание 10 и соответствующая единица называется Хартли в честь Р. В. Л. Хартли, который первым предложил логарифмическую меру информации.
- Слово бит имеет в книге два различных смысла; обозначает цифры в двоичной системе представления чисел и единицы информации; Эти понятия не совпадают, и в случаях, когда рассматривается информационная задача и возможна путаница, следует говорить о бите информации.
Одно основание логарифма легко перевести в другое, поскольку
символов 
и соответствующие вероятности 
Сколько информации поступает при приеме одного из этих символов? Если, например, 
(а остальные 
равны,
