7.6. Некоторые общие соотношения между энтропиями и взаимными информациями при кодировании и декодировании

1. Рассматриваемый нами канал с помехами характеризуется условными вероятностями Вероятности входной величины определяют способ получения случайного кода Передаваемое сообщение, имеющее номер сопоставляется с кодовой точкой При декодировании наблюдаемая случайная зеличина определяет номер принимаемого сообщения. Как отмечалось ранее, выбирается та кодовая точка которая в смысле некоторого «расстояния» является «ближайшей» к наблюденной точке

Преобразование является вырожденным преобразованием. Поэтому в силу неравенства (6.3.9) имеем

Применяя (6.3.9), нужно отождествить с у, I отождествить с а под понимать случайную величину, дополняющую I до (так что будет совпадать с

Код в (7.6.1) предполагается фиксированным. Усредняя (7.6.1) по различным кодам с весом и обозначая результаты усреднения через получаем

2. Сравним теперь количество информации Первое количество информации определяется формулой

где

Информацию же можно записать

Нетрудно убедиться, что после усреднения (7.6.4) по второй (вычитаемый) член совпадает со вторым членом формулы (7.6.6). Действительно, математическое ожидание

энтропии не зависит от в силу равноправности всех k (см. § 7.2), так что

Разность информаций (7.6.6) и (7.6.3), следовательно, равна

где М обозначает усреднение по Вследствие выпуклости функции (7.6.5) можно воспользоваться формулой

т. е. неравенством

Но не зависит от и совпадает с аргументом функции в первом члене соотношения (7.6.7). Поэтому при каждом

и из (7.6.7) получаем

Объединяя неравенства (7.6.2), (7.6.8), имеем

где для краткости опущены

3. Полезно связать информацию между входными и выходными сообщениями с вероятностью ошибки. Рассмотрим энтропию соответствующую фиксированному переданному сообщению После передачи сообщения остается некоторая неопределенность, касающаяся того, какое сообщение будет принято. Эту неопределенность, численно равную , пользуясь иерархическим свойством энтропии (§ 1.3), можно представить в виде суммы двух членов. Эти члены соответствуют устранению неопределенности в два этапа. На первом этапе указывается, является ли принятое сообщение правильным, т. е. совпадают ли Эта неопределенность равна

где вероятность ошибки декодирования при условии, что передано сообщение (код фиксирован). На втором этапе, если , следует указать, какое же сообщение из остальных сообщений принято. Соответствующая неопределенность не может быть больше . Следовательно,

Усредним это неравенство по пользуясь формулой

справедливой в силу выпуклости функции

и неравенства (1.2.4). Это дает

Можно далее произвести усреднение по ансамблю случайных кодов и аналогично, используя (7.6.10) еще раз, получить

Поскольку из (7.6.11) следует, что

Точно те же самые рассуждения можно провести, поменяв местами и Тогда по аналогии с (7.6.12) будем иметь

В предположении равновероятности всех М возможных сообщений имеем Кроме того, очевидно, бит. Поэтому (7.6.13) можно записать

Ранее мы полагали при этом

и (7.6.14) принимает вид

т. е.

Учитывая (7.6.9) и соотношение отсюда имеем результирующее неравенство

определяющее нижнюю границу для вероятности ошибки декодирования. При неравенство (7.6.15) переходит в асимптотическую формулу

которой имеет смысл пользоваться при (если то неравенство становится тривиальным). Согласно этой формуле асимптотическая безошибочность декодирования заведомо не имеет места при так что граница для является существенной.

4. Объединяя формулы (7.6.9), (7.6.14) и заменяя множитель при Рот на будем иметь результат

Величина есть количество информации в хартлиевском понимании. Из асимптотической безошибочности декодирования следует, что это количество информации близко к шенноновскому количеству информации 1. Поделив (7.6.16) на имеем

Из теоремы 7.1 и других следует, что можно увеличивать и производить кодирование и декодирование таким образом, что при и в то же самое время Тогда, очевидно, длина диапазона будет стремиться к нулю:

Это значит, что с ростом все точнее выполняются приближенные равенства

или

Эти асимптотические соотношения обобщают равенства (6.1.17), относящиеся к простым помехам. В соответствии с этим произвольные помехи можно считать асимптотически эквивалентными простым помехам. Номер I кодовой области является асимптотически достаточной координатой (см. § 6.3).

Подобно тому, как в случае простых помех (§ 6.1) обоснованием шенноновского количества информации

являлась его сводимость (в соответствии с (6.1.17)) к более простому «больцмановскому» количеству информации

так в случае произвольных помех наиболее убедительным обоснованием количества информации (7,6.20) является асимптотическое равенство