вероятности нахождения в состоянии
скажем
умноженной на
Если
достаточно велико, то вероятность ошибки, не превосходящей 6%, в этом случае меньше чем
так что все числа, кроме множества малой вероятности, заключены в пределах
Следовательно, все последовательности, за исключением сколь угодно малой доли, имеют вероятность р:
и
ограничен соотношениями
или
Это доказывает теорему 3.
Теорема 4 немедленно следует отсюда, если вычислить верхнюю и нижнюю границы для
учитывая область возможных значений
указываемую теоремой 3.
В смешанном (не эргодическом) случае, когда
а энтропии компонент суть
справедлива следующая теорема:
Теорема. Пусть
тогда
— убывающая ступенчатая функция и в интервале
справедливо равенство
Для доказательства теорем 5 и 6 прежде всего заметим, что
монотонно убывает, так как увеличение
увеличивает значение условной энтропии. Простая подстановка значения
в формулу для
показывает, что
Суммируя по всем
получим
Следовательно,
и
монотонно убывают. Они должны также сходиться к тому же самому пределу. Применяя теорему 3, видим, что