где минимум в левой части равенства разыскивается но всем
для которых средняя ошибка
не превосходит
Поэтому для любой такой ф. п. в. величина средней взаимной информации на сообщение
Пусть
код со скоростью
который кодирует источник
со средней ошибкой
Условная ф. п. в. соответствующая оптимальному кодированию сообщений множества
с помощью кода
принадлежит множеству
и имеет вид
Неравенство (5.3.2) остается справедливым и для ф. п. в. (5.3.3), следовательно,
Предположим, что при
нашелся
-код со средней ошибкой
Если это так, то
что противоречит предположению о скорости кода. Теорема доказана.
Рассмотрим теперь общий случай, когда источник
является стационарным и не обязательно не имеет памяти. Ключевым местом доказательства обратной теоремы для источника без памяти является неравенство (5.3.2), которое в рассмотренном выше случае выполняется для всех натуральных
и для всех ф. п. в. из
Для того чтобы получить обратную теорему в общем случае, необходимо получить такое же неравенство для произвольного стационарного источника.
Воспользуемся теоремой 5.2.3. Из определения эпсилон-энтропии и этой теоремы вытекает, что для всех
имеет место неравенство
Отсюда следует, что для произвольной
В остальном доказательство обратной теоремы кодирования для произвольного стационарного источника сохраняется таким же, как и доказательство теоремы 5.3.1.
Таким образом, не существует кодов, кодирующих непрерывный стационарный источник с заданным критерием качества, для которых одновременно скорость
и средняя ошибка меньше или равна