Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 1.10. Постановка задачи неравномерного кодирования дискретных источников. Коды с однозначным декодированиемВ предыдущих параграфах мы познакомились с задачей равномерного кодирования дискретных источников и показали, что при таком кодировании скорость создания информации равна энтропии источника на сообщение. Здесь будет рассмотрен другой подход к задаче кодирования. Для того чтобы его пояснить, вернемся к примеру 1.6.4. В этом примере были разобраны два метода кодирования телеграмм. Один метод, так называемый метод побуквенного кодирования, позволяет закодировать и затем безошибочно декодировать любую телеграмму, затрачивая на одну букву 6 двоичных символов. Второй метод оказался ключевым для задачи равномерного кодирования. Он позволяет однозначно кодировать не все телеграммы, а только некоторые типичные для данного источника. При таком кодировании на одну букву будет затрачиваться примерно 13/8 двоичных символов — существенно меньше, чем при побуквенном кодировании. При кодировании телеграмм есть еще один метод кодирования, о котором не было, ничего сказано раньше. Предположим, что известно, с какими вероятностями появляются те или другие буквы в телеграммах. Тогда можно использовать неравномерный код, в котором длины кодовых слов подобраны так, что часто встречающиеся буквы кодируются относительно короткими двоичными словами, а редкие — длинными. При таком способе побуквенного кодирования, использующем неравномерные коды, любая телеграмма может быть однозначно закодирована и однозначно декодирована, а среднее количество двоичных символов на букву может быть сделано меньшим, чем в случае равномерного побуквенного кодирования. Как и для любого метода кодирования источника, основной характеристикой неравномерного кодирования является количество символов, затрачиваемых на кодирование одного сообщения. В случае равномерного кодирования это количество одно и то же для любого сообщения источника. Действительно, каждый отрезок из затрачиваемых при кодировании, зависит от сообщений источника и поэтому представляет собой случайную величину. В этом случае разумной мерой качества кодирования является среднее количество символов на сообщение. Обозначим через длину слова, кодирующего сообщение
будет средней длиной кодовых слов, кодирующих ансамбль сообщений Определение 1.10.1. Число
называется средней скоростью неравномерного кодирования посредством D-ичного кода при разбиении последовательности сообщений на блоки длины Пример 1.10.1. Предположим, что Таблица 1.10.1 (см. скан) Заметим, что энтропия ансамбля сообщений этого примера равна 2,75 бит. В таблице приведены два двоичных кода — равномерный и неравномерный, которые однозначно кодируют указанное множество сообщений. Для первого кода все слова имеют одинаковую длину, равную 3. Для второго — слова имеют различные длины и, как нетрудно подсчитать средняя длина равна 2,75 символов (совпадение с энтропией неслучайно). Средняя скорость неравномерного кодирования зависит от выбора Пример 1.10.2. Предположим, что источник порождает сообщения Коды, в которых ни одно слово не является началом другого, называются префиксными. Коды, в которых любая последовательность кодовых слов допускает однозначное разбиение на кодовые слова, называются кодами со свойством однозначного декодирования. Префиксные коды являются кодами со свойством однозначного декодирования, но не наоборот. Пример 1.10.3. Код, образованный словами Таким образом, для кодирования сообщений источника пригодны только те коды, которые допускают однозначное декодирование. Определение 1.10.2. Скоростью создания информации дискретным источником при неравномерном кодировании называется наименьшее число Ниже мы покажем, что скорость создания информации при неравномерном кодировании совпадает со скоростью создания информации при равномерном кодировании и равна энтропии источника на сообщение. Для того чтобы доказать, что число Прежде чем приступить к детальному изучению задачи неравномерного кодирования, докажем теорему, в которой формулируется необходимое условие того, чтобы код был однозначно декодируем. Теорема 1.10.1. Предположим, что однозначно декодируемый код состоит из
Доказательство. Пусть
Заметим, что в выражении, стоящем в правой части равенства (1.10.4), каждое слагаемое соответствует каждой возможной последовательности из
где
или
Неравенство (1.10.7) справедливо при всех положительных целых Таким образом, мы получили необходимое условие того, чтобы код обладал свойством однозначного декодирования. Ниже будут изучены коды, для которых легко показать, что это условие является также достаточным.
|
1 |
Оглавление
|