1.1. Определение энтропии в случае равновероятных возможностей
Пусть имеется М равноправных и, следовательно, равновероятных возможностей. Например, при бросании правильной игральной кости 
Конечно, не во всех примерах формализация условий проводится так просто и определенно, как в случае игральной кости. Мы предполагаем, тем не менее, что она проведена, что действительно осуществляется одна из М возможностей и никакая иная, что эти возможности равноправны. Тогда имеется априорная неопределенность, прямо связанная с М (т. е. чем больше М, тем больше неопределенность). Измеряющая ее численная величина носит название энтропии и обозначается Н:
где 
некоторая возрастающая неотрицательная функция, определенная по меньшей мере для чисел натурального ряда.
При бросании кости и выяснении выпавшего числа приходит информация, количество которой обозначим 
После этого (т. е. апостериори) никакой неопределенности не остается:
апостериорное 
и этому значению должно соответствовать 
Количество пришедшей информации естественно измерять величиной исчезнувшей неопределенности:
Здесь индекс 
означает «априори», 
«апостериори».
Мы видим, что пришедшее количество информации 
совпадает с первоначальной энтропией. Также и в других случаях (в частности для приводимой в дальнейшем формулы 
сообщение, имеющее энтропию Н, может передавать количество информации 
равное Н.
Для определения вида функции 
в (1.1.1.) используем вполне естественный принцип аддитивности. В применении к игральной кости он гласит: энтропия двух бросаний кости в два раза больше, чем энтропия одного бросания, трех бросаний — в три раза больше и т. д. В применении к другим примерам данный принцип указывает, что энтропия нескольких несвязанных систем, рукояток управления и т. п. равна сумме энтропий отдельных систем, рукояток управления и т. п. Но число равноправных возможностей сложной системы М равно произведению числа возможностей 
каждой из подсистем («простых» по отношению к сложной). При двух бросаниях игральной кости число различных пар 
(где принимает одно из шести значений и 
- также одно из шести значений) равно 
Вообще, в случае 
бросаний число равноправных возможностей равно 
Применяя формулу (1.1.1) для этого числа, получаем энтропию 
Согласно принципу аддитивности находим
При других 
эта формула имела бы вид
Обозначая 
имеем 
и из (1.1.3) получаем
где 
положительная константа, не зависящая от х. Она связана с выбором единиц информации. Итак, вид функции 
определен с точностью до выбора единиц измерения. Легко проверить, что отмеченное ранее условие 
действительно выполняется.
Впервые логарифмическую меру информации ввел Хартли 
поэтому величину 
называем хартлиевским количеством информации.
Укажем три основных выбора единиц измерения информации:
1) если в (1.1.4) положить 
, то энтропия будет измеряться в натуральных единицах (натах):
2) если положить 
то будем иметь энтропию, выраженную в двоичных единицах (битах):
3) наконец, мы будем иметь физическую шкалу, если в качестве К возьмем постоянную Больцмана 
Энтропия, измеренная в этих единицах, будет
Из сопоставления (1.1.5) и 
видеть, что 1 нат крупнее 1 бита в 
раза.
В дальнейшем, если не будет специальных оговорок, будем пользоваться натуральными единицами (формула (1.1.5)), опуская индекс «нат».
Пусть указанные равноправные возможности заключаются в том, что случайная величина 
принимает одно из М значений, скажем 
Вероятность каждого отдельного ее значения тогда равна 
Следовательно, формулу (1.1.5) можно записать
