Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике 4. КОЛИЧЕСТВО ИНФОРМАЦИИКоличество информации при равновероятности всех элементов сообщения. Определим количество информации, содержащееся в сообщении сначала в простейшем случае, когда число символов или элементов (например, букв в алфавите), из которых может быть составлено сообщение, равно
Это число можно было бы выбрать в качестве меры количества информации. Однако это не вполне удобно, потому что такая мера не удовлетворяет условию аддитивности, заключающемуся в том, что вдвое более длинное сообщение, естественно, должно содержать и вдвое большее количество информации. Это условие аддитивности или пропорциональности количества информации числу
Остается выбрать основание логарифмов а. Для этого рассмотрим простейший возможный случай, когда сообщение состоит из одного единственного элемента, а общее число элементов равно двум, т. е. когда
Если количество информации, получаемое при таких условиях, принять равным единице, то это определит выбор в качестве основания логарифмов а числа, равного двум. Итак, количество информации в сообщении определяется выражением
или, так как в рассматриваемом случае
Выше количество информации в сообщении было определено как логарифм от общего числа возможных сообщений. Количество информации можно определить так же, как отрицательный логарифм вероятности выбора одного сообщения из всей возможной совокупности сообщений. Действительно, если выбор каждого из сообщений равновероятен, то вероятность Р выбора одного из
Следовательно, согласно выражению (1.31)
Количество информации, связанное с измерением физической величины. Рассмотрим какую-либо физическую величину х, например температуру, напряжение, давление и т.
Так, например, если отсчет производится между 0 и 1 в и минимальное приращение, которое чувствует прибор, равно 0,01 в, то максимальное Число отсчетов будет равно Минимальная ошибка Да: называется разрешающей способностью системы. Предположим, что минимальная относительная ошибка
Рассмотрим переменную, изменяющуюся со скоростью, равной 0,01 от ее полного диапазона изменения в секунду. Предположим, что мы можем измерить переменную в статическом режиме с точностью до 1%. Если отсчет может быть произведен быстро, скажем, в течение 0,001 сек, то во время отсчета переменная может измениться лишь очень незначительно, а именно на Наоборот, если для отсчета требуется значительный промежуток времени, например, 10 сек, то переменная может измениться на
Наименьший промежуток времени, который требуется для того, чтобы переменная изменилась на величину
Минимальное время, за которое переменная может измениться на величину
Подставляя выражение (1.36) в формулу (1.38) и учитывая соотношение (1.39), получим
Определим теперь количество информации, получаемое при измерении переменной х в рассматриваемых условиях. При этом количество информации определяется просто как логарифм полного числа возможных состояний системы или измеряемых значений переменной, характеризующей ее поведение. Если мы не располагаем никакими предварительными сведениями о процессе, то каждый из
Подставляя выражение (1.35) в формулу (1.33) и учитывая соотношение (1.34), получим для количества информации, связанного с одним отсчетом в статике, выражение
или
В динамическом режиме, когда переменная изменяется на заметную величину за время
Применим полученные формулы для Пусть дискретный прибор производит 1000 измерений в секунду, каждое из которых дает 7 единиц количества информации, так что допустимая для него скорость изменения информации равна
Таким образом, для рассмотренного примера количество информации в единицу времени на выходе дискретного прибора больше, чем на выходе непрерывного. Количество информации при неравновероятности выбора элементов сообщения. Рассмотрим сообщения, каждое из которых состоит из большого числа элементов, равного Каждое такое сообщение содержит
Но при этом
следовательно,
Количество информации, содержащееся в сообщении, согласно выражениям (1.34) и (1.35)
В частном случае, когда все элементы сообщения равновероятны, формула (1.47) сводится к формуле (1.32). Действительно, при этом
и
поэтому
Заметим, что этот частный случай соответствует максимальному возможному количеству информации, содержащемуся в сообщении из Действительно, предположим сначала, что мы производим выбор между двумя возможными сообщениями, вероятности которых равны В предельном случае, когда одна вероятность равна 1 (достоверность), а все остальные — нулю (невозможность), то 3 равно нулю (никакой неопределенности, никакой свободы выбора — никакой информации). То же и в случае произвольного числа выборов: 3 имеет максимум, когда все выборы равновероятны, и 3 близка к нулю, корда вероятность одного из сообщений велика. Чем больше число возможных решений, тем больше 3.
|
1 |
Оглавление
|