БИТ

(от англ. binary digit — двоичная цифра) — двоичная единица измерения энтропии и количества информации. Источник с двумя равновероятными сообщениями имеет энтропию в одну двоичную единицу. Происхождение термина «Б.» объясняется тем, что к-во двоичных единиц указывает (с точностью до единицы) среднее число знаков, необходимое для записи данного сообщения в двоичном коде. Употребляются также натуральные и десятичные единицы. Переход от одних единиц к другим соответствует изменению основания логарифмов в определении энтропии и информации количества (10 вместо 2). Формула перехода: 1 десятичных единиц бит да да 3,32 бит, 1 натуральных единиц бит бит.

Р. Л. Добрушин, В. В. Прелое.