1.4. Элементы теории информации

В природе многие процессы связаны с передачей, преобразованием и хранением, информации. Обычно под информацией понимаются те новые сведения об окружающем мире, которые мы получаем в результате взаимодействия с ним, приспосабливаясь к нему и изменяя его в этом процессе приспособления. Комитетом научно-технической терминологии Академии Наук СССР рекомендуется следующее определение: «Информация — это сведения, являющиеся объектом хранения, передачи и преобразования».

Во многих случаях нужно уметь определять количество информации. В 1927 г. Р. Хартли (Англия)

предложил и обосновал количественную меру информации, которая явилась отправной точкой теории информации. Эта мера информации записывается так [43, 124]:

где I — количество информации; общее число сообщений, которое может быть составлено из элементов, каждый из которых имеет возможных состояний, т. е.

Формулу (1.9) можно представить в виде

Наиболее удобен выбор основания логарифма, равного двум. При этом за единицу количества информации принято считать информацию сообщения, содержащего один элемент который может принимать два равновероятных состояния Действительно, бит

В случае одинаковой вероятности всех сообщений вероятность каждого сообщения

Тогда количество информации можно выразить через вероятности поступления сообщений:

Если сообщения неравновероятны и независимы друг от друга, то пользуются понятием средней информации [46]: где вероятность сообщения.

Средняя информация на один элемент сообщения называется энтропией:

Величина представляет собой меру беспорядочности состояния источника сообщений и характеризует среднюю степень неопределенности состояния этого источника. В случае, когда все различных состояний источника равновероятные, энтропия максимальна:

Если сообщения неравновероятны, среднее количество информации, содержащееся в одном сообщении, будет меньшим.

Пример. Пусть передается текст, в котором использованы 32 буквы алфавита Если все буквы равновероятны и вероятность появления любой из букв не зависит от предыдущего текста, количество информации, приходящееся на одну букву,

Рис. 1. Энтропия в случае возможных состояний с вероятностями

Пример. Имеем источник сообщений» с двумя состояниями вероятность одного состояния; вероятность другого состояния. Тогда, учитывая, что получаем

Задаваясь величиной можно вычислить Из рис. 1, где приведена эта зависимость, видно, что энтропия максимальна, если т. е. когда оба события равновероятны.

Энтропия, а следовательно, и количество информации равны нулю когда или Действительно, если достоверно известно одно из состояний

источника, то сообщение об этом не несет никакой информации. Количество информации, определяемое по формуле (1.15), представляет собой среднее количество информации, приходящееся на один элемент сообщения.

В общем случае, когда вероятности отдельных состояний разные и взаимозависимые, количество информации определяется формулой, выражающей условную энтропию [46, 114]:

где совместная вероятность состояний; вероятность состояния при условии, что ему предшествовало состояние.