Измерение информаций

Прежде чем переходить к рассмотрению вопроса о том, как следует измерять информацию, нам необходимо объяснить точный смысл понятия информация с точки зрения инженера-связиста. Конечно, каждое подлежащее передаче сообщение имеет свое содержание. Оно, однако, совершенно несущественно в проблеме передачи информации. Передать ряд бессмысленных слогов так же трудно (в действительности даже более трудно), как и подлинный английский текст. Тому, кто хотя бы немного знаком с предметом этой статьи, будет ясно, что с точки зрения передачи важным свойством информации является то, что каждое частное сообщение выбирается из некоторого множества возможных сообщений. Передаче подлежит одно из частных сообщений, выбранных источником информации. Первоначальное сообщение может быть восстановлено в пункте приема в том и только в том случае, когда передается именно такое однозначным образом выбранное сообщение. Таким образом, информация в нашем смысле должна находиться в связи с понятием выбора из множества возможных исходов.

Простейшим типом выбора является выбор из двух возможностей, каждая с вероятностями 1/2. Этот выбор осуществляется, например, когда кидают монету, которая с одинаковой вероятностью может упасть кверху гербом или решеткой. Удобно использовать количество информации, производимое таким выбором, в качестве основной единицы, называемой двоичной единицей или, короче, битом. Выбор, дающий один бит информации, может быть схематически изображен так, как это сделано на рис. 2, а. В точке можно выбрать или верхнюю или нижнюю линию с вероятностями 1/2 для каждой возможности. Если имеется равновероятных возможностей, то количество информации равно . Это видно из рис. 2, б, где имеется восемь возможностей, каждая с вероятностью 1/8. Выбор можно представлять себе происходящим в три этапа, каждый из которых дает информацию в один бит. Первый

бит соответствует выбору первых четырех или вторых четырех из восьми возможностей; второй бит соответствует первой или второй паре, выбранной из четырех возможностей, определенных первым выбором, а последний бит определяет первый или второй член этой пары. Ниже будет показано, что число требуемых битов равно в нашем случае т. е. 3.

Если вероятности не равны, то соответствующая формула немного более сложна. Один простой случай показан на рис. 2, в. Здесь имеются четыре возможных выбора с вероятностями и 1/8.

Рис. 2. Схематическое изображение равных и неравных вероятностей. Выбор, оцениваемый в один бит, можно сравнить с выпадением герба или решетки при бросании монеты.

Этот выбор может быть разбит в последовательность двоичных выборов, как изображено на рис. 2, в. Произведенная информация задается числом где 1 возникает из первого выбора (в точке который проводится всегда; — из выбора в точке который проводится лишь в половине случаев (когда в точке выбрана нижняя линия), и т. д. Вообще, при подобном разложении, когда отдельные результаты выбора имеют вероятности информация задается формулой

Эта формула, таким образом, - дает количество информации, произведенное одним выбором. Источник информации производит сообщение, которое состоит из последовательности, получающейся в результате выбора, например, букв печатного текста или отдельных слов, или звуков речи. В этих случаях количество информации, произведенное в секунду или даваемое одним символом, может быть вычислено с помощью соотношения (1). Интересно, что если статистическую структуру английского текста принимать во внимание лишь на расстояниях, не превышающих длину слова, то

скорость создания информации для печатного английского текста будет равна приблизительно двум битам на букву. Учет более далеких смысловых связей может значительно понизить эту величину.