Глава 2. ИЗМЕРЕНИЕ ИНФОРМАЦИИ

Цель предыдущей главы состояла в том, чтобы дать общее представление об изучаемых в этой книге проблемах теории связи. Мы видели, в частности, как процесс передачи информации может быть разбит на ряд последовательных операций. Теперь мы можем приступить к детальному изучению каждой из этих операций, не боясь потерять из виду всю проблему в целом. В начале главы дается определение количественной меры информации, которая к настоящему моменту оказалась чрезвычайно полезной при изучении всех этих операций. Остальная часть главы будет посвящена исследованию математических свойств этой меры и интерпретации ее значения в ряде интересных ситуаций, возникающих при передаче информации.

2.1. Предварительные замечания

Операции, указанные на модели связи, изображенной на рис. 1.1, обладают одним важным общим свойством. Предполагается, что вход каждого из блоков в некотором смысле определяет его выход. Это требование вполне естественно, поскольку сообщение, поступающее к адресату, должно воспроизводить выходное сообщение источника в пределах, накладываемых критерием точности передачи, введенным адресатом. Рассмотрим, например, операцию кодирования, представленную на рис. 2.1. Предположим, что на кодер источника поступает сообщение за номером 3 и он в свою очередь последовательно порождает соответствующие двоичные символы, приведенные во втором столбце.

Так как кодовое слово, соответствующее сообщению номер 3, есть 011, то первым символом, порождаемым кодером, будет 0. Ясно, что этот символ содержит некоторую информацию относительно того факта, что на вход кодера Ьоступило сообщение 3. Например, 0 показывает, что входным сообщением является одно из четырех сообщений 0,1,2,3. Второй символ, порождаемый кодером —1, ограничивает возможные

сообщения сообщениями с номерами 2 и 3. Наконец, третий символ 1 однозначно идентифицирует сообщение.

Этот процесс последовательного ограничения множества возможных сообщений не дает полного описания того, в какой мере входное сообщение идентифицируется последовательными символами; при идентификации определенную роль играют также вероятности сообщений. Ведь ясно, по крайней мере интуитивно, что ситуация будет совсем иной, когда все сообщения, кроме сообщения 3, имеют исчезающе малые вероятности. Возникает вопрос, как же тогда можно точно установить, в какой степени каждый последующий символ идентифицирует входное сообщение?

Рис. 2.1. Вероятности сообщений после появления каждого символа кодового слова, соответствующего сообщению 3.

Из третьего столбца рис. 2.1 мы видим, что вероятность сообщения номер 3 равна Простые вычисления показывают, что вероятность того же сообщения после появления первого символа равна после появления второго наконец, после появления третьего символа , как это указано на рис. 2.1. Из этой же таблицы видно, что, после того как первый символ становится известным, вероятности сообщений, все еще остающихся возможными, умножаются на т. е. на величину, обратную сумме первоначальных вероятностей сообщений того же подмножества. Аналогично после появления второго символа вероятности сообщений, которые все еще остаются возможными, умножаются на 3, т. е. на величину, обратную сумме вероятностей этих сообщений. Наконец, после появления третьего символа вероятность сообщения 3 умножается

на 2, т. е. на величину, обратную вероятности этого сообщения после второго символа. Ясно, что эти последовательные изменения вероятностей дают полное описание вклада, вносимого каждым последующим символом в идентификацию входного сообщения.

Рис. 2.2. Вероятности сообщений после появления каждого импульса последовательности на выходе двоичного симметричного канала, изображенного на рис. 1.3.

Рассмотрим следующий пример (рис. 2.2). Два равновероятных сообщения передаются по двоичному симметричному каналу, изображенному на рис. 1.3 в виде двух последовательностей импульсов. Последовательность, соответствующая сообщению 0, состоит из трех отрицательных импульсов, а соответствующая сообщению 1 — из трех положительных импульсов. Полярности трех последовательных выходных импульсов таковы: Простое вычисление вероятностей сообщений после приема каждого из трех последовательных импульсов дает величины, указанные в последних трех столбцах рис. 2.2. Через обозначена вероятность того, что полярность любого импульса на выходе будет отличаться от полярности соответствующего входного импульса. Так что, например, вероятность выходной последовательности равна если на вход поступает последовательность если на вход поступает последовательность . Поскольку обе возможные входные последовательности априори равновероятны, то после приема вероятность того, что на входе была последовательность равна

Если величина меньше то появление первого импульса увеличивает вероятность сообщения 1 и уменьшает вероятность сообщения 0. С другой стороны, появление второго импульса имеет противоположный эффект. Он снова придает вероятностям их первоначальные значения. Появление третьего

импульса снова увеличивает вероятность сообщения 1 и уменьшает вероятность сообщения 0 точно так же, как появление первого импульса. Таким образом, если фактически переданным является сообщение 1, то прием первого импульса увеличивает апостериорную вероятность этого сообщения, прием второго импульса уменьшает ее и, наконец, прием последнего импульса снова увеличивает ее. Опять, как и в предыдущем примере, эти изменения вероятностей выражают тот вклад, который вносят принятые импульсы при идентификации входного сообщения. Но здесь в результате приема импульса вероятность может как увеличиваться, так и уменьшаться.

Целесообразно теперь на время отбросить специфику интересующих нас проблем и рассмотреть определение меры информации с абстрактной точки зрения. Вместо того чтобы говорить о сообщениях или символах, мы будет говорить о точках некоторого абстрактного пространства и об ансамблях точек, получающихся в результате задания распределения вероятностей в соответствующих пространствах. Это позднее даст нам возможность по-разному интерпретировать такие точки и использовать определенную в этих терминах меру информации для изучения различных сторон проблемы связи.

Мы ограничимся пока рассмотрением дискретных пространств, т. е. пространств, состоящих из точек, которые могут быть упорядочены в простую последовательность Непрерывные пространства будут рассмотрены позже, так как иначе связанные с ними математические трудности могли бы затушевать смысл новых понятий, которые мы хотим ввести.