Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 3.3. Неравенство ФаноВ этом параграфе будет рассмотрено основное неравенство, с помощью которого доказываются обратные теоремы кодирования для различных каналов. Пусть задан дискретный ансамбль
где
Величину Рассмотрим множество
где
Безусловное распределение вероятностей на
В следующей теореме устанавливается связь между условной энтропией Теорема 3.3.1 (неравенство Фано). Для любого дискретного ансамбля
Доказательство. Рассмотрим условную энтропию
где последнее равенство следует из (3.3.1) и (3.3.3). Из соотношения (3.3.1) следует также, что
Поэтому второе слагаемое в последнем выражении в (3.3.7) представляет умноженную на
При
Так как при Усредним обе части неравенства (3.3.9) по ансамблю
Поскольку условная энтропия Рассмотрим, как неравенство Фано может применяться для оценки вероятности ошибки декодирования в дискретном канале связи. Пусть задан дискретный канал, т. е. заданы множества входных X и выходных Обозначим через
где
При этом величина (см. (3.3.1)) представляет собой условную вероятность ошибки декодирования для кода
Энтропия иногда называют ненадежностью передачи с помощью кода Неравенство Фано можно интерпретировать следующим образом. Для того чтобы наблюдатель, находящийся в декодере, мог точно установить переданное сообщение, он, во-первых, должен знать, допускает или не допускает ошибку декодер. Среднее количество информации, необходимое для этого, равно
Рис. 3.3.1. График функции Правая часть неравенства Фано является функцией только от
Заметим, что Пусть а — некоторое положительное число, меньшее или равное
равносильны, т. е. первое влечет второе и наоборот.
|
1 |
Оглавление
|