применить закон больших чисел, из которого следует, что при любых
найдется
такое, что при всех
или
Нетрудно увидеть, что вероятность
равна левой части неравенства (1.7.7) и, следовательно, неравенство (1.7.3) справедливо.
С другой стороны, из определения множества
следует, что для всякой последовательности
Суммируя обе части левого неравенства по всем элементам
получим следующую цепочку неравенств:
откуда следует правое неравенство в (1.7.4). Суммируя теперь обе части правого неравенства в (1.7.8) по всем элементам
получим, что для достаточно больших
что дает левое неравенство в (1.7.4). Теорема доказана.
Теорема показывает, что последовательности сообщений на выходе дискретного источника без памяти могут быть подразделены на две группы:
где второе множество — это дополнение первого до
Последовательности из первой группы обладают тем свойством, что их вероятности достаточно близки друг к другу (см. (1.7.8)) и суммарная вероятность всех элементов этого множества весьма близка к единице (см.
Тем не менее, множество
может составлять лишь очень малую долю по числу элементов от множества
Действительно, если обозначить число элементов в X через
то
?. Доля а множества
Если
т. е. если энтропия источника строго меньше, чем
достаточно мало, то а убывает к нулю при увеличении
как