Глава 6. ИНФОРМАЦИЯ ПРИ НАЛИЧИИ ПОМЕХ. ШЕННОНОВСКОЕ КОЛИЧЕСТВО ИНФОРМАЦИИ

В настоящей главе рассматривается введенное Шенноном количество информации связи двух случайных величин или двух групп случайных величин. Это понятие является центральным в теории информации, самостоятельное развитие которой начато в работах Шеннона (1948 г.). Оно определяется как разность априорной и апостериорной (условной) энтропий.

Явное вычисление количества информации в сложных случаях, когда в качестве рассматриваемых случайных величин берутся случайные процессы, является, вообще говоря, непростой задачей. В двух последних параграфах главы эта задача решается для частных случаев: вычисляется удельное количество информации в случае стационарных гауссовых и марковских процессов. При этом используются методы и результаты гл. 5.

6.1. Потери информации при вырожденных преобразованиях и при простых помехах

1. Пусть имеется случайная величина х с конечным числом состояний (числом реализаций) и соответствующие ей вероятности Рассмотрим некоторое преобразование этой случайной величины. Функция естественно, определена для всех возможных значений случайной величины.

Если преобразование является невырожденным, т. е. существует обратная функция и может быть установлено взаимно однозначное соответствие между то энтропия при преобразовании не меняется:

В самом деле, вследствие взаимно однозначного соответствия между значениями х и значениями выражения типа (1.2.3) для энтропии будут отличаться лишь порядком следования членов, нумерацией этих членов. Указанные значения можно нумеровать также числами Вследствие этого мы можем, как

это делали ранее, заменить множество значений случайной величины х на множество

Сложнее обстоит дело, если преобразование является вырожденным. Тогда фиксированному значению соответствует подмножество элементов х, число элементов которого больше единицы. Зная , мы не в состоянии сказать, какое значение х из породило данное значение Чтобы ответить на этот вопрос, требуется помимо знать номер исходного элемента х в множестве . Пара уже в состоянии заменить х. Между возможными значениями этой пары и множеством возможных значений х можно осуществить взаимно однозначное соответствие и, следовательно,

Случайная величина является дополнительной по отношению к ; она дополняет до х. Пусть, например, на натуральных числах задана функция где скобки обозначают целую часть. Тогда число представляет собой номер десятка, в котором находится натуральное число х. Дополнительной величиной в данном случае является номер числа в десятке. Пара есть не что иное, как представление числа х в десятичной системе и, разумеется, заменяет х.

Применяя формулы из § 1.3 [типа (1.3.4)], имеем

Отсюда получаем

так как .

Рассмотрим, когда имеет место знак равенства в (6.1.1). Поскольку

то тогда и только тогда, когда условная энтропия исчезает для всех зачений имеющих ненулевую вероятность. Но энтропия

обращается в нуль, лишь если вероятности сосредоточены на одном единственном элементе из . Выбирая этот элемент, мы можем осуществить взаимно однозначное соответствие между значениями имеющими ненулевую вероятность, и значениями имеющими также ненулевую вероятность. Следовательно, равенство т. е. означает, что данное преобразование может быть сделано невырожденным в результате удаления элементов, имеющих нулевую вероятность, и что оно эквивалентно невырожденному преобразованию. Если же

преобразование существенно вырожденное (т. е. объединяет хотя бы два каких-то элемента с ненулевыми вероятностями в один), тогда имеет место строгое неравенство

Итак, мы доказали следующее:

Теорема 6.1. Существенно вырожденное преобразование случайных величин уменьшает (разрушает) информацию Н, которая может содержаться в случайной величине.

2. Перейдем теперь к рассмотрению помех. Передача сигналов в канале связи обычно сопровождается помехами или искажениями. Если сигнал на одном конце канала, то сигнал у на другом (приемном) конце, вообще говоря, отличается от х вследствие случайных искажений. Если х обозначает запись, сделанную в запоминающем устройстве в некоторый момент времени, то через определенное время запись может исказиться и вместо записи х в запоминающем устройстве будет содержаться другая запись у.

Такие случайные искажения описываются вероятностями перехода Если через обозначить вероятности первоначального сообщения или записи, то искаженное сообщение или запись будет, очевидно, иметь вероятности

Совместное распределение вероятностей будет

В отличие от рассмотренного раньше преобразования теперь преобразование х в у, связанное с помехами, является рандомизированным, т. е. носит случайный характер (у случайно, даже если х фиксировано). Покажем, что иногда, несмотря на это кардинальное отличие, между вырожденным преобразованием и между случайными искажениями имеется много общего.

Рассмотрим специальный случай простых помех. Будем называть помехи простыми, если они перемешивают значения х лишь внутри некоторых классов. Точнее говоря, пусть область значений х можно разбить на неперекрывающиеся подмножества а область значений у на подмножества обладающие следующими свойствами:

а) из области можно попасть лишь в область

б) Из всех точек области происходит переход в с одинаковыми вероятностями

Легко видеть, что из а) следует

или, что эквивалентно,

номер области номер области Из б) же вытекает

Теорема 6.2. Простые помехи с информационной точки зрения эквивалентны нерандомизированному вырожденному преобразованию номер той области которой принадлежит т. е.

Для доказательства следует рассмотреть апостериорное распределение вероятностей Подставляя (6.1.5) в формулу обратной вероятности (формулу Байеса), приводя ее к виду

и сокращая на общий множитель получаем

Это выражение зависит от номера I множества которому принадлежит у, но не зависит от конкретного значения у внутри т. е.

Если выполняется подобное равенство, то говорят, что переменная I является достаточной переменной или достаточной статистикой, заменяющей у. Мы получили, следовательно, что номер I множества служит в данном случае достаточной статистикой. Из равенства (6.1.9) вытекает, что и (после усреднения этого равенства) что

Равенства (6.1.9), (6.1.10) означают, что наблюдение переменной у эквивалентно наблюдению переменной Доказательство закончено.

Из определения простых помех и из теоремы 6.2 видно, что понятие простых помех является обратимым: помехи, соответствующие обратному переходу с вероятностями являются простыми, если простыми являются помехи прямого перехода с вероятностями

В самом деле, подставляя (6.1.4) в (6.1.3), легко убедиться, что отличны от нуля лишь те вероятности для которых х и у попадают в области с одинаковым номером Вероятности равны нулю, если номера и I областей

не совпадают. Следовательно, свойство (6.1.4) обратимо. В дополнение к (6.1.6), (6.1.7) выполняются соотношения

Далее равенство (6.1.9), очевидно, является обращением равенства Тем самым указанная обратимость доказана: кроме вырожденного преобразования можно рассматривать также нерандомизированное вырожденное преобразование где I — номер области содержащей точку у.

Из теоремы 6.2. следует, что помехи разрушают информацию, поскольку такое разрушение имеет место при вырожденном преобразовании по теореме 6.1.

3. Чтобы безошибочно передавать информацию при вырожденном преобразовании или при простых помехах, нужно связывать информацию не с переменной х, которая искажается при преобразовании, а с переменной которая останется неизменной, так как Количество передаваемой информации, следовательно, будет равно

Преобразуем это соотношение к другому виду, используя тождество

вытекающее из определения условных энтропий (§ 1.3). При фиксированном х номер области является полностью определенным, поэтому

и из (6.1.12), (6.1.13) получаем

Согласно (6.1.10) это соотношение можно записать

Далее, по аналогии с (6.1.14) имеем или (что то же самое, поскольку с вероятностью 1). Следовательно,

Учитывая (6.1.12), (6.1.11), (6.1.16), (6.1.15), будем иметь

Приведенные результаты относятся к случаю простых помех однако в менее явной форме (в асимптотическом смысле) их можно перенести и на случай произвольных помех, как это видно из последующего (§ 7.6). Там вместо точных соотношений (6.1.17) выведены приближенные соотношения (7.6.19). Для этого нужно рассматривать не отдельные случайные величиных и у, а последовательности этих величин при Подобно тому как

случай произвольных вероятностей асимптотически сводится к случаю равновероятных возможностей (см. § 1.4, 1.5), так и случай произвольных помех асимптотически сводится к случаю простых помех. Поэтому, если информацию связывать с соответствующими (приближенными) достаточными статистиками (для этого ее должно быть не больше, чем то в пределе можно избежать ошибок, вызванных искажениями. Этот факт связан с известной теоремой Шеннона и является одной из возможных ее интерпретаций (см. гл. 7).