§ 2. Асимптотические свойства энтропии
Энтропия системы событий
относительно выборки 
обладает рядом свойств, аналогичных
свойствам энтропии 
-членных
цепочек, рассматриваемых в теории информации. В этом параграфе будет
сформулировано и доказано несколько утверждений относительно асимптотического
поведения и оценок энтропии, которые понадобятся при выводе необходимых и
достаточных условий равномерной сходимости.
Лемма 1. Последовательность 
имеет при 
предел с 
.
Приводимое доказательство
совпадает с доказательством аналогичного утверждения для энтропии -членных цепочек в
теории информации [66].
Доказательство. В самом деле,
поскольку 
, то
существует нижний предел
.
Тогда для любого 
найдется 
такое, что
. (11.6)
Произвольное
представим
в виде
,
где
и 
.
Далее, в силу (11.2), (11.4) и
(11.5)
.
Поэтому
.
Воспользовавшись
теперь условием (11.6), получим
.
Далее,
поскольку при также
и 
, имеем
и
ввиду произвольности 
.
Лемма доказана.
В теории информации величину 
называют энтропией
на символ. Сохраним этот термин и для величины . Несмещенной оценкой этой
величины служит случайная величина
.
Покажем, что эта случайная
величина стремится по вероятности при к тому же пределу, что и (аналогичное
утверждение для эргодических источников доказывается и в теории информации, но
на этот раз доказательства различны).
Лемма 2. Пусть 
, тогда
сходится
к 
по
вероятности, т. е.
.
Более
того, если обозначить
,
,
то
.
Доказательство. Оценим
сначала 
.
Поскольку
,
найдется
такое, что
.
Рассмотрим случайную
последовательность
.
Таким
образом, 
есть
среднее арифметическое случайной величины 
, полученное в серии независимых
испытаний длины .
Математическое ожидание равно 
, поэтому математическое
ожидание также
равно 
;
случайная величина ограничена
и потому
обладает центральными моментами любого порядка. Пусть 
и 
– ее центральные моменты
соответственно второго и четвертого порядка. Очевидно, что и меньше 1. Тогда центральный
момент четвертого порядка величины есть
.
Применяя неравенство Чебышева для
моментов четвертого порядка, получим при любом 
.
Далее,
в силу (11.3)
,
т.
е.
.
Поэтому,
тем более,
.
Полагая
и учитывая,
что
,
получим
, (11.7)
где
через 
обозначено
.
Наконец, для произвольного положим , где 
, а .
В силу (11.2)
.
Поэтому
.
Усиливая
неравенство, получим
. (11.8)
Предположим,
что 
настолько
велико, что
.
Тогда
из (11.7) и (11.8) следует, что
. (11.9)
Поскольку
при имеет
место , то
.
Кроме
того,
.
Действительно,
достаточно оценить сумму, начиная с достаточно больших , для которых выполняется
(11.9). Тогда
.
Остается
показать, что 
при
. Пусть таково, что для всех
.
Из свойств математического ожидания
и того факта, что 
есть
математическое ожидание 
, имеем
.
Обозначая
первую часть равенства 
, а вторую 
и полагая , получим
. (11.10)
Далее,
пусть –
произвольное число. Тогда
или,
иначе,
. (11.11)
Объединяя
(11.10) и (11.11), имеем
.
Переходя
к пределу при ,
и,
поскольку произвольно,
а 
,
.
Лемма доказана.
Замечание 1. В отличие от
последовательности
,
которая
в силу результата § 4 главы X при стремится либо к нулю, либо к единице,
последовательность
может
стремится к любому пределу с .
Например, пусть 
– сегмент 
. В качестве системы 
рассмотрим все
измеримые множества 
,
которые включаются в сегмент 
. Распределение 
положим равномерным. Тогда на
последовательности (без
повторов) будут индуцироваться множествами те и только те подпоследовательности,
которые целиком укладываются в сегмент . Значит, их число равно
,
где
– число
элементов последовательности, принадлежащих . При этом
и,
следовательно,
.
Заметим, однако, что поскольку
всегда
,
то
предел
может
быть отличен от нуля только в том случае, когда
или,
что то же самое,
.
Замечание 2. Значение функции при любом служит оценкой сверху
для величины
,
т.е.
.
Доказательство
этого утверждения аналогично доказательству леммы 1.
Отсюда следует, что если 
, то
,
т.
е. индекс 
равен
с вероятностью
1.
