4. КОЛИЧЕСТВО ИНФОРМАЦИИ

Количество информации при равновероятности всех элементов сообщения. Определим количество информации, содержащееся в сообщении сначала в простейшем случае, когда число символов или элементов (например, букв в алфавите), из которых может быть составлено сообщение, равно а число символов в сообщении равно При этом мы предположим, что выбор каждого из символов равновероятен. При число возможных сообщений, т. е. число возможных комбинаций выбора двух элементов из равно Точно также при число возможных сообщений равно Если же число элементов в сообщении равно , то число возможных сообщений

Это число можно было бы выбрать в качестве меры количества информации. Однако это не вполне удобно, потому что такая мера не удовлетворяет условию аддитивности, заключающемуся в том, что вдвое более длинное сообщение, естественно, должно содержать и вдвое большее количество информации. Это условие аддитивности или пропорциональности количества информации числу будет удовлетворено, если в качестве меры количества информации выбрать не само число а его логарифм, т. е. условиться, что количество информации определяется выражением

Остается выбрать основание логарифмов а. Для этого рассмотрим простейший возможный случай, когда сообщение состоит из одного единственного элемента, а общее число элементов равно двум, т. е. когда . В этом случае

Если количество информации, получаемое при таких условиях, принять равным единице, то это определит выбор в качестве основания логарифмов а числа, равного двум. Итак, количество информации в сообщении определяется выражением

или, так как в рассматриваемом случае то

Выше количество информации в сообщении было определено как логарифм от общего числа возможных сообщений. Количество

информации можно определить так же, как отрицательный логарифм вероятности выбора одного сообщения из всей возможной совокупности сообщений. Действительно, если выбор каждого из сообщений равновероятен, то вероятность Р выбора одного из сообщений

Следовательно, согласно выражению (1.31)

Количество информации, связанное с измерением физической величины. Рассмотрим какую-либо физическую величину х, например температуру, напряжение, давление и т. изменяющуюся в пределах от Хщах до Пусть Если даже величина X изменяется непрерывно, то при ее измерении прибор остается нечувствительным к ее изменениям в пределах некоторого приращения зависящего от разрешающей способности прибора. Поэтому при измерении можно получить лишь конечное число дискретных значений величины х, равное

Так, например, если отсчет производится между 0 и 1 в и минимальное приращение, которое чувствует прибор, равно 0,01 в, то максимальное Число отсчетов будет равно

Минимальная ошибка Да: называется разрешающей способностью системы. Предположим, что минимальная относительная ошибка — не должна превышать . Тогда требуемая разрешающая способность

Рассмотрим переменную, изменяющуюся со скоростью, равной 0,01 от ее полного диапазона изменения в секунду. Предположим, что мы можем измерить переменную в статическом режиме с точностью до 1%. Если отсчет может быть произведен быстро, скажем, в течение 0,001 сек, то во время отсчета переменная может измениться лишь очень незначительно, а именно на

Наоборот, если для отсчета требуется значительный промежуток времени, например, 10 сек, то переменная может измениться на Другими словами, чем быстрее изменяется переменная, тем больше потеря точности в течение интервала измерения. Промежуток времени необходимый для того, чтобы переменная изменилась на величину равную разрешающей способности прибора,

Наименьший промежуток времени, который требуется для того, чтобы переменная изменилась на величину

Минимальное время, за которое переменная может измениться на величину

Подставляя выражение (1.36) в формулу (1.38) и учитывая соотношение (1.39), получим

Определим теперь количество информации, получаемое при измерении переменной х в рассматриваемых условиях. При этом количество информации определяется просто как логарифм полного числа возможных состояний системы или измеряемых значений переменной, характеризующей ее поведение. Если мы не располагаем никакими предварительными сведениями о процессе, то каждый из возможных отсчетов одинаково вероятен. Итак, вероятность Р любого из описывается формулой

Подставляя выражение (1.35) в формулу (1.33) и учитывая соотношение (1.34), получим для количества информации, связанного с одним отсчетом в статике, выражение

или

В динамическом режиме, когда переменная изменяется на заметную величину за время определяемое выражением (1.40), максимальная скорость изменения информации, которая еще может регистрироваться системой

Применим полученные формулы для чтобы сравнить дискретный и непрерывный регистрирующие приборы по их способности передавать данное количество информации в единицу времени.

Пусть дискретный прибор производит 1000 измерений в секунду, каждое из которых дает 7 единиц количества информации, так что

допустимая для него скорость изменения информации равна . В то же время пусть прибор непрерывного действия имеет время прохождения всей шкалы, равное 0,01 сек, и ошибку измерения тогда

Таким образом, для рассмотренного примера количество информации в единицу времени на выходе дискретного прибора больше, чем на выходе непрерывного.

Количество информации при неравновероятности выбора элементов сообщения. Рассмотрим сообщения, каждое из которых состоит из большого числа элементов, равного выбираемых из элементов: причем вероятности выбора этих элементов не равны и определяются числами .

Каждое такое сообщение содержит элементов элементов Отличие между сообщениями заключается лишь в порядке следования элементов. Так как вероятность выбора элементов равна и так как выбор каждого из элементов есть событие, не зависимое от выбора других элементов, то вероятность Р выбора каждого такого сообщения при достаточно большом одинакова и равна

Но при этом

следовательно,

Количество информации, содержащееся в сообщении, согласно выражениям (1.34) и (1.35)

В частном случае, когда все элементы сообщения равновероятны, формула (1.47) сводится к формуле (1.32). Действительно, при этом

и

поэтому

Заметим, что этот частный случай соответствует максимальному возможному количеству информации, содержащемуся в сообщении из элементов.

Действительно, предположим сначала, что мы производим выбор между двумя возможными сообщениями, вероятности которых равны для первого и для второго. Величина 3 имеет максимум, равный единице, тогда, когда оба сообщения одинаково вероятны т. е. когда имеется полная свобода выбора между сообщениями. Как только одно сообщение делается более вероятным, чем другое то значение 3 убывает. А когда одно сообщение очень вероятно то 3 очень мало.

В предельном случае, когда одна вероятность равна 1 (достоверность), а все остальные — нулю (невозможность), то 3 равно нулю (никакой неопределенности, никакой свободы выбора — никакой информации). То же и в случае произвольного числа выборов: 3 имеет максимум, когда все выборы равновероятны, и 3 близка к нулю, корда вероятность одного из сообщений велика. Чем больше число возможных решений, тем больше 3.