Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
энтропии
не зависит от
в силу равноправности всех k (см. § 7.2), так что
Разность информаций (7.6.6) и (7.6.3), следовательно, равна
где М обозначает усреднение по
Вследствие выпуклости функции (7.6.5) можно воспользоваться формулой
т. е. неравенством
Но
не зависит от
и совпадает с аргументом функции
в первом члене соотношения (7.6.7). Поэтому при каждом
и из (7.6.7) получаем
Объединяя неравенства (7.6.2), (7.6.8), имеем
где для краткости опущены
3. Полезно связать информацию
между входными и выходными сообщениями с вероятностью ошибки. Рассмотрим энтропию
соответствующую фиксированному переданному сообщению
После передачи сообщения
остается некоторая неопределенность, касающаяся того, какое сообщение будет принято. Эту неопределенность, численно равную
, пользуясь иерархическим свойством энтропии (§ 1.3), можно представить в виде суммы двух членов. Эти члены соответствуют устранению неопределенности в два этапа. На первом этапе указывается, является ли принятое сообщение правильным, т. е. совпадают ли
Эта неопределенность равна
где
вероятность ошибки декодирования при условии, что передано сообщение
(код фиксирован). На втором этапе, если
, следует указать, какое же сообщение из остальных сообщений принято. Соответствующая неопределенность не может быть больше
. Следовательно,
Усредним это неравенство по
пользуясь формулой
справедливой в силу выпуклости функции
и неравенства (1.2.4). Это дает
Можно далее произвести усреднение по ансамблю случайных кодов и аналогично, используя (7.6.10) еще раз, получить
Поскольку
из (7.6.11) следует, что
Точно те же самые рассуждения можно провести, поменяв местами
и
Тогда по аналогии с (7.6.12) будем иметь
В предположении равновероятности всех М возможных сообщений
имеем
Кроме того, очевидно,
бит. Поэтому (7.6.13) можно записать
Ранее мы полагали
при этом
и (7.6.14) принимает вид
т. е.
Подобно тому, как в случае простых помех (§ 6.1) обоснованием шенноновского количества информации
являлась его сводимость (в соответствии с (6.1.17)) к более простому «больцмановскому» количеству информации
так в случае произвольных помех наиболее убедительным обоснованием количества информации (7,6.20) является асимптотическое равенство