Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 1.8. Скорость создания информации дискретным источником без памяти при равномерном кодированииВ этом параграфе мы покажем, что скорость создания информации дискретным источником без памяти при равномерном кодировании равна его энтропии. Как отмечалось в § 1.6, для доказательства этого утверждения нужно доказать прямую и обратную теоремы кодирования. Каждый код, кодирующий сообщения источника, характеризуется скоростью кодирования — отношением логарифма числа кодовых слов к длине кодируемых сообщений, множеством однозначно кодируемых сообщений и вероятностью ошибки. Поэтому, говоря о том, что существует код со скоростью Предположим, что дискретный источник без памяти выбирает сообщения из множества X с распределением вероятностей Теорема 1.8.1 (прямая теорема). Пусть
Рис. 1.8.1. К доказательству обратной теоремы кодирования. Доказательство. Согласно теореме 1.7.1 для любых положительных
откуда следует, что Замечание. В теореме утверждается существование кода, кодирующего дискретный источник без памяти с произвольно малой вероятностью ошибки. В действительности доказано нечто большее, а именно, что для любых Теорема 1.8.2 (обратная теорема). Пусть Кроме того, для любой последовательности кодов со скоростью
где Доказательство. Докажем сначала справедливость соотношения (1.8.2). Пусть
Для каждого
где
Рассмотрим теперь вероятность
Учитывая (1.8.5) и (1.8.6), из (1.8.4) получим (1.8.2). Докажем теперь первое утверждение теоремы. Для этого заметим, что при
получим, что для любого
Теорема доказана. Таким образом, прямая и обратная теоремы кодирования показывают, что скорость создания информации при равномерном кодировании дискретного источника без памяти равна его энтропии. Этот вывод позволяет дать энтропии следующее толкование. Представим себе, что источник подсоединен к некоторому устройству (кодеру источника), осуществляющему кодирование со скоростью
|
1 |
Оглавление
|