ГЛАВА 1. ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ

1. Определение информации

Теория информации, разработанная за последние годы, нашла широкое применение в различных областях: в связи, в технике вычислений, в чистой физике и при обсуждении основного процесса научного наблюдения. Некоторая величина может быть определена как мера количества информации в данной операции, и мы покажем, что эта величина тесно связана с физической энтропией, применяемой в термодинамике.

Определение информации выводится из статистических рассуждений. Обсудим сначала очень простой пример. Рассмотрим ситуацию, в которой могут произойти различных событий, но при условии, что эти возможных исходов считаются априори равновероятными. Это есть исходная ситуация, когда мы не имеем специальной информации о рассматриваемой системе. Если мы получаем ббльшую информацию, мы сможем уточнить, что только один из исходов в действительности реализуется. Чем больше неопределенность исходной задачи, тем больше и тем больше количество информации, необходимое для выбора.

Итак, мы начальная ситуация: при равновероятных исходах,конечная ситуация: при т. е. при одном избранном исходе.

Символ означает информацию, и определение информации есть

где К — постоянная, a ln — означает натуральный логарифм.

Применение логарифма в (1.1) оправдывается тем, что мы желаем, чтобы информация обладала свойством аддитивности.

Рассмотрим две независимые задачи, первая из которых имеет априори равновероятных решений, а вторая — . Каждое решение первой задачи может быть спарено с некоторым решением второй. Таким образом, общее число начальных исходов равно

что дает

где

Общее количество информации, необходимое для решения обеих задач, равно сумме раздельных информации .