§ 5.3. Обратная теорема кодирования непрерывных источников при заданном критерии качества

В этом параграфе мы будем заниматься обратной теоремой кодирования, которая покажет, что является нижней границей скорости кода для непрерывного стационарного источника, средняя ошибка которого не превосходит Вначале мы будем рассматривать источники без памяти, а затем обсудим общий случай.

Пусть непрерывный источник без памяти, т. е. такой, что для любых и любых функция плотности вероятностей Сообщения на выходе такого источника независимы и одинаково распределены.

Теорема 5.3.1. Для любого непрерывного источника без памяти, любого критерия качества и любого кода со скоростью где эпсилон-энтропия источника относительно критерия качества имеет место неравенство

Доказательство, Заметим, что для непрерывных источников без памяти и любого натурального

где минимум в левой части равенства разыскивается но всем для которых средняя ошибка не превосходит Поэтому для любой такой ф. п. в. величина средней взаимной информации на сообщение

Пусть код со скоростью который кодирует источник со средней ошибкой Условная ф. п. в. соответствующая оптимальному кодированию сообщений множества с помощью кода принадлежит множеству и имеет вид

Неравенство (5.3.2) остается справедливым и для ф. п. в. (5.3.3), следовательно,

Предположим, что при нашелся -код со средней ошибкой Если это так, то

что противоречит предположению о скорости кода. Теорема доказана.

Рассмотрим теперь общий случай, когда источник является стационарным и не обязательно не имеет памяти. Ключевым местом доказательства обратной теоремы для источника без памяти является неравенство (5.3.2), которое в рассмотренном выше случае выполняется для всех натуральных и для всех ф. п. в. из Для того чтобы получить обратную теорему в общем случае, необходимо получить такое же неравенство для произвольного стационарного источника.

Воспользуемся теоремой 5.2.3. Из определения эпсилон-энтропии и этой теоремы вытекает, что для всех имеет место неравенство Отсюда следует, что для произвольной

В остальном доказательство обратной теоремы кодирования для произвольного стационарного источника сохраняется таким же, как и доказательство теоремы 5.3.1.

Таким образом, не существует кодов, кодирующих непрерывный стационарный источник с заданным критерием качества, для которых одновременно скорость и средняя ошибка меньше или равна