2.8. ИНФОРМАЦИОННЫЕ ПАРАМЕТРЫ СООБЩЕНИЙ И СИГНАЛОВ

В этом параграфе будут рассмотрены методы количественного определения информации, содержащейся в сообщении и передаваемой по каналу связи. Строгие методы количественного определения информации были предложены К- Шенноном в 1948 г. и привели к построению теории информации, являющейся математической основой теории связи, кибернетики и ряда смежных и даже довольно отдаленных отраслей науки.

Пусть некоторый источник дискретных сообщений посылает одно конкретное сообщение из некоторого ансамбля А. Попытаемся найти определение количества информации, содержащейся в этом сообщении, исходя из следующих естественных требований:

1. Количество информации должно быть аддитивной мерой, т. е. количество информации в двух независимых сообщениях должно равняться сумме количеств информации в каждом из них.

2. Количество информации в сообщении о достоверном событии равно нулю.

3. Количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, от возможных последствий его передачи, от эмоциональной окраски и т. д.

Первое требование настолько естественно, что в дополнительных обоснованиях не нуждается. Подчеркнем лишь, что речь идет о независимых сообщениях, когда прием одного из них никак не влияет на восприятие другого. Второе требование также легко понять, поскольку сообщение о достоверном событии не может ничего изменить в наших знаниях. Третье требование быть может не кажется столь очевидным. Однако обосновано необходимостью абстрагироваться от различных несущественных деталей, для того чтобы построить достаточно общую теорию. В качестве аналогии можно сослаться на то, что нельзя было бы построить научную механику, если по-разному определять массу тел, состоящих из различных веществ.

Итак, для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в самом общем виде сообщение а из ансамбля А, Таким параметром, очевидно, является вероятность того, что источник посылает данное сообщение. Следовательно, количество, информации содержащееся в сообщении а, должно быть функцией от

Дальнейшее уточнение искомого определения не составляет труда, если учесть первые два требования. Пусть а, и два независимых сообщения. Вероятность того, что источник пошлет оба эти сообщения (одно за другим), равна а информация, содержащаяся в них, должна удовлетворять условию аддитивности, т. е. Следовательно, необходимо найти функцию от вероятности обладающую тем свойством, что при перемножении двух аргументов значения функции складываются. Единственная такая функция —

это логарифмическая функция где k — любая постоянная, а логарифм берется по любому основанию. Заметим, что при таком определении количества информации выполняется и второе требование — при

Что касается выбора коэффициента и основания логарифма, то они определяются только удобством. Заметим, что изменение основания логарифма также можно свести к изменению коэффициента, поскольку так что замена основания логарифма с на сводится к умножению коэффициента на Поэтому переход от одного основания другому означает лишь изменение единицы количества информации.

Для того чтобы количество информации измерялось неотрицательным числом, будем всегда выбирать поскольку (если основание логарифма больше единицы) Поэтому

Основание логарифма в (2.119) чаще всего выбирают равным

2. Полученная при этом единица информации носит название двоичная единица или бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, т. е. таком, которое может с равной вероятностью произойти или не произойти. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. В теоретических исследованиях иногда применяют натуральный логарифм, измеряя информацию в натуральных единицах. Натуральная единица — в раза больше двоичной. Мы будем пользоваться в основном двоичными единицами, и в дальнейшем обозначение будет означать двоичной логарифм.

Итак, количество информации в сообщении тем больше, чем оно менее вероятно или, другими словами, чем оно более неожиданно.

Если источник передает последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нем. Оно должно определяться по условной вероятности передачи данного сообщения при известных предшествовавших

Определенное выше количество информации является случайной величиной, поскольку сами сообщения случайные. Его распределение вероятностей определяется распределением вероятностей сообщений в данном ансамбле. Для характеристики же всего ансамбля (или источника) сообщений используется

математическое ожидание количества информации, называемое энтропией и обозначаемое

Здесь математическое ожидание, как всегда, обозначает усреднение по всему ансамблю сообщений. При этом должны учитываться все вероятностные связи между различными сообщениями.

Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т. е. тем более неопределенным является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределенности сообщений. При этом имеется в виду неопределенность, существующая до того, как сообщение передано. После приема сообщения (если оно заведомо принимается верно) всякая неопределенность устраняется. Это позволяет трактовать количество информации как меру уменьшения неопределенности. Можно характеризовать энтропию также как меру разнообразия выдаваемых источником сообщений.

Энтропия является основной характеристикой источника. Чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи. Так, например, далее будет показано, что во многих случаях необходимая затрата энергии на передачу сообщения пропорциональна его энтропии.

Перечислим основные свойства энтропии.

1. Энтропия неотрицательна, она равна нулю только для «вырожденного» ансамбля, когда одно сообщение передается с вероятностью 1, а остальные имеют нулевую вероятность.

2. Энтропия аддитивна. Это значит, в частности, что если рассматривать последовательность из сообщений как одно «укрупненное» сообщение, то энтропия источника таких укрупненных сообщений будет в раз больше энтропии исходного источника.

3. Если ансамбль содержит К различных сообщений, то причем равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо. Число К называется объемом алфавита источника.

Свойство 1 вытекает из выражения (2.121), если учесть, что 1 и, следовательно, а математическое ожидание неотрицательной величины не может быть отрицательным. Свойство 2 легко понять исходя из того, что аддитивность была положена в основу определения энтропии. Это соображение, конечно, не ивляется доказательством, однако свойство 2 может быть показано совершенно строго.

Приведем доказательство свойства 3 для источника независимых сообщений.

Пусть ансамбль содержит К различных сообщений. Если сообщения передаются статистически независимо друг от друга, с различными вероятностями,

то формула (2.121) принимает простой вид:

Рассмотрим разность:

Воспользуемси известным неравенством

справедливым для любого положительного х. Тогда

причем равенство имеет место только при что и требовалось доказать.

В частности, для двоичного источника без памяти, когда энтропия максимальна при и равна бит. Зависимость энтропии этого источника от показана на рис. 2.15.

Рис. 2.15. Энтропии двоичного источника без памяти

Для источника, сообщения которого образуют простую цепь Маркова, вероятность каждого сообщения целиком определена, если известно переданное непосредственно перед ним сообщение и формула (2,121) принимает следующий вид:

где обозначает условную вероятность передачи если предыдущим сообщением было а безусловную (среднюю) вероятность передачи

Заметим, что - безусловная вероятность сообщения

Аналогично можно представить энтропию источника зависимых сообщений, если зависимость простирается не только на предыдущее сообщение, В общем случае при любых зависимостях между сообщениями энтропию можно определить из следующих соображений. Рассмотрим последовательность из сообщений, которую обозначим Пусть ее вероятность равна Тогда содержащаяся в ней информация, согласно (2,119), равна так что на каждое сообщение приходится , а усреднение по всем таким последовательностям даст Для устранения влияния предыдущих последовательностей устремим к бесконечности, Тогда

В теории информации доказывается, что энтропия источника зависимых сообщений всегда меньше энтропии источника независимых сообщений при том же объеме алфавита и тех же безусловных вероятностях сообщений.

Пусть, например, источник выдает последовательность букв из алфавита объемом Если буквы выбираются равновероятно и независимо друг от Друга, то энтропия источника бит. Таким источником могла бы быть обезьяна, нажимающая в хаотическом порядке клавиши пишущей машинки. Если буквы передаются не хаотически, а составляют связный русский текст, то они оказываются неравновероятнымн (например, буква А передается значительно чаще, чем и, главное, зависимыми (так, после гласных не может появиться мала вероятность сочетания более трех согласных подряд; вероятность последовательности, не образующей осмысленных слов, практически равна нулю). Если рассматривать ансамбль текстов русской художественной прозы, то энтропия оказывается менее 1,5 бит на букву. Еще меньше, около 1 бит на букву, энтропия ансамбля поэтических произведений, так как в них имеются дополнительные вероятностные связи, обусловленные ритмом и рифмами. Если же рассматривать в качестве источника поток телеграмм, то его энтропия обычно не превышает 0,8 бит на букву, поскольку тексты довольно однообразны.

Величина

называется избыточностью источника с объемом алфавита Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.

Отметим некоторые свойства длинных последовательностей сообщений стационарного источника. Общее число последовательностей длины равно Будем для сокращения называть их -последовательностями. Для источника равновероятных и

независимых сообщений все -последовательности равновероятны, т. е. вероятность каждой из них откуда

Если сообщения источника А неравновероятны и (или) зависимы, то, очевидно, среди -последовательностей будут более вероятные и менее вероятные. Предположим, что составлен список всех -последовательностей, расположенных в порядке убывания их вероятностей. Зададимся некоторым малым положительным числом и будем отсчитывать -последовательности в порядке убывания их вероятностей, пока суммарная вероятность не превысит 1—б. Назовем отсчитанные последовательности типичными и обозначим их число Остальные нетипичные -последовательности имеют суммарную вероятность меньше 6.

Для широкого класса стационарных источников в теории информации доказана следующая теорема об асимптотической равновероятности:

При любых существует такое что при все -последовательности можно разделить на типичные и нетипичные, причем суммарная вероятность нетипичных -последовательностей меньше а для вероятности любой типичной -последовательности справедливо неравенство

Отсюда следует, что при число типичных -последователь-ностей

Эта теорема, являющаяся, по существу, выражением закона больших чисел, широко используется в теории информации. Она позволяет рассматривать любой расширенный источник при достаточно большом как источник почти независимых и почти равновероятных типичных -последователыюстей с объемом алфавита Атип в которые лишь очень редко, с вероятностью вклинивается какая-нибудь нетипичная -последователыюсть, причем стремится к нулю с увеличением

Интересно отметить, что при и достаточно большом типичные -последовательности составляют лишь ничтожную долю всех возможных последовательностей. Действительно, и если то это отношение с увеличением экспоненциально стремится к нулю.

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время на каждое сообщение. Производительностью (в бит на секунду) такого источника назовем суммарную энтропию сообщений, переданных за единицу времени:

У других источников скорость передачи сообщений определяется самой системой связи. Для таких источников с управляемой скоростью производительность может регулироваться в широких пределах, путем изменения величины Примером источника с фиксированной скоростью является датчик на космическом корабле, передающий каждые 10 с значения температуры, давления воздуха и т. д. Источником с управляемой скоростью является написанный на бумаге текст, подлежащий передаче по телеграфу.