3. Обобщение и примеры
Определение меры информации может быть распространено на случай, когда в начальной ситуации имеется
возможных исходов, а в конечной ситуации
исходов: в начале:
при
равновероятных исходах, в конце:
при равновероятных исходах. В этом случае
Это определение сводится к (1.1), когда
и представляет собой очевидное обобщение (1.1).
Рассмотрим численный пример, в котором мы предположим все цифры равновероятными. Пусть G — количество цифр с основанием N. Вообще,
Мы можем выразить (1.6) в двоичных единицах:
так как
Так, если
мы будем иметь
различных исходов и
Легко показать, что мы получим то же количество информации, если изменим основание N и соответственно число цифр. Пусть, например, выбрано основание
. Тогда для записи рассматриваемого числа потребуется всего
цифр, и
что согласуется с (1.8).
Рассмотрим десятичное число из
цифр:
Одна десятичная цифра дает 3,32 дв. ед. информации; двоичная запись числа требует в 3,32 раза больше цифр, чем десятичная.