2. Системы единиц
Прежде чем идти далее, нужно обсудить вопрос о единицах. В теории информации принято рассматривать информацию 
, как безразмерную величину (отвлеченное число), а стало быть, постоянная К есть отвлеченное число. Наиболее удобная система основана на двоичных единицах (binary digits, сокращенно bits). Поясним это на примере.
Рассмотрим задачу с n различными независимыми выборами, каждый из которых сводится к двоичной альтернативе: 0 или 1. Общее число возможностей
и из (1.1) получаем информацию
Мы желаем отождествить 
(число двоичных единиц) и берем:
Таким образом, информация I в двоичных единицах равна
В качестве примера рассмотрим колоду из 32 различных карт, из которых должна быть выбрана одна. На основании (1.3b) мы скажем, что 
двоичных единиц, так как 
. Но возьмем теперь две колоды, по 32 карты в каждой. Если мы выберем две карты, по одной из каждой колоды, то желательно, чтобы мы могли сказать, что информация при этом вдвое больше. Общее число возможностей равно
где
и, следовательно,
Из (1.1) находим:
и, таким образом, 
двоичных единиц.
Итак, логарифмическое определение информации представляется разумным.
Другая система единиц может быть введена, если мы сравним информацию с термодинамической энтропией и будем измерять обе величины в одних и тех же единицах. Энтропия (см. главу 9) имеет размерность энергии, деленной на температуру. Для энтропии имеется формула Больцмана, очень сходная с (1.1) и содержащая коэффициент
Эта константа известна как постоянная Больцмана (см. (9.15)). Если мы введем эту постоянную k вместо К в (1.1), то мы будем измерять информацию в единицах энтропии.
Мы можем сделать еще один шаг и выбрать единицы гак, чтобы как энтропия, так и информация были безразмерными величинами и представлялись отвлеченными числами). Для этого нужно измерять температуру в единицах энергии. Обычная стоградусная шкала применима, если k имеет численное значение (1.4) и рассматривается как отвлеченное число. При этом отношение единиц наших двух систем также
есть отвлеченное число, равное
Это численное значение играет важную роль во всех применениях теории.
