1.5. Асимптотическая равновероятность и энтропийная устойчивость

1. Изложенные в предыдущем параграфе идеи, касающиеся асимптотической эквивалентности неравновероятных возможностей (сообщений) равновероятным, могут быть распространены на значительно более общий класс случайных последовательностей и процессов. Необязательно, чтобы случайные величины образующие отрезок последовательности принимали лишь одно из двух значений. Необязательно, чтобы они имели одинаковый закон распределения Необязательно, наконец, чтобы они были статистически независимыми и не обязательно даже, чтобы была последовательностью Что же является обязательным для описанной асимптотической эквивалентности?

Дать общую формулировку свойства асимптотической эквивалентности неравновероятных возможностей равновероятным помогает понятие энтропийной устойчивости семейства случайных величин.

Семейство случайных величин является энтропийно устойчивым, если отношение при сходится по вероятности к единице. Это значит, что каковы бы ни были найдется такое , что будет выполнено неравенство

при любом

В приведенном выше определении подразумевается, что все не убывают с ростом Обычно

Факт асимптотической равновероятности можно сформулировать при помощи понятия энтропийной устойчивости в виде следующей общей теоремы.

Теорема 1.9. Если семейство случайных величин является энтропийно устойчивым, то множество реализаций каждой случайной величины можно разбить на два подмножества таким образом, что

1) суммарная вероятность реализаций подмножества исчезает:

2) реализации второго подмножества становятся относительно равновероятными в смысле соотношения

3) число реализаций множества связано с энтропией соотношением

Доказательство. Полагая, например, из (1.5.1) имеем

при Пусть увеличивается, пробегая последовательные целые значения. Множества определяем как множества реализаций, удовлетворяющих неравенству

. При таком определении, очевидно, свойство (1.5.2) выполняется в силу (1.5.5). Для дополнительного множества имеем

откуда получаем

при что доказывает свойство (1.5.3) (сходимость вызывает сходимость

Вероятности всех реализаций множества согласно (1.5.7) лежат в диапазоне

В то же время суммарная вероятность заключена между и 1. Отсюда получаем следующий диапазон для числа членов:

(слева наименьшее число делится на наибольшее, а справа — наибольшее на наименьшее). Поэтому

откуда вытекает (1.5.4). (Член стремится к нулю вследствие неубывания энтропии Доказательство закончено.

Свойство энтропийной устойчивости, играющее согласно теореме 1.9 большую роль, удобно проверять для различных примеров, вычисляя дисперсию

случайной энтропии. Если эта дисперсия не слишком быстро растет с ростом то применением неравенства Чебышева можно доказать

(1.5.1), т. е. энтропийную устойчивость. Сформулируем три относящиеся к этому вопросу теоремы.

Теорема 1.10. Если существует равный нулю предел

то семейство случайных величин является энтропийно устойчивым.

Доказательство. Согласно неравенству Чебышева для любой случайной величины с конечной дисперсией при любом имеем

Полагая здесь и учитывая (1.5.8), получаем

при любом 8. Отсюда вытекает (1.5.1), т. е. энтропийная устойчивость.

Теорема 1.11. Если энтропия неограниченно возрастает и существует ограниченный верхний предел

то семейство случайных величин энтропийно устойчиво.

Для доказательства нужно лишь учесть, что величина которую в силу (1.5.9) можно оценить как

стремится к нулю вследствие возрастания (и произвольности ) так что к данному случаю можно применить теорему 1.10.

Во многих важных для практики случаях существуют конечные пределы

которые можно назвать удельной энтропией и удельной дисперсией. Для их вычисления разработан ряд более или менее общих методов. Согласно приводимой ниже теореме конечность этих пределов гарантирует энтропийную устойчивость.

Теорема 1.12. Если пределы (1.5.10) существуют и конечны и первый из них отличен от нуля, то семейство случайных величин энтропийно устойчиво.

Для доказательства учтем, что из (1.5.10) следуют соотношения

Здесь, как обычно, обозначает, что о Поскольку энтропия неограниченно нарастает. Поделив выражение (1.5.11) на (1.5.12), получим конечный предел

Тем самым выполнены условия теоремы 1.11, что доказывает энтропийную устойчивость.

Пример. Пусть задана бесконечная последовательность дискретных случайных величин, статически независимых, но по разному распределенных. Предположим, что энтропии всех этих величин конечны и равномерно ограничены снизу.

а дисперсии равномерно ограничены сверху:

Случайные величины определяем как набор первых элементов последовательности Тогда вследствие (1.15.10), (1.5.14) и статистической независимости, т. е. аддативности энтропий, будем иметь

В этом случае условия теоремы 1.11 являются выполненными и из нее вытекает энтропийная устойчивость семейства

Другие более сложные примеры энтропийно устойчивых случайных величин, не распадающихся на статистически независимые величины, будут рассмотрены в дальнейшем.

Понятие энтропийной устойчивости можно, правда менее строго, применять не к последовательности случайных величин а к одной случайной величине Тогда под энтропийно устойчивой случайной величиной нужно понимать такую величину, для которой при некотором малом значении вероятность

достаточно близка к единице, т. е. достаточно близко к единице.

В дальнейшем будут введены другие понятия: понятие информационной устойчивости, канонической устойчивости и пр., которые во многих отношениях напоминают энтропийную устойчивость.

2. Для получения ряда результатов, связанных С энтропийно-устойчивыми случайными величинами, иногда удобно рассматривать характеристический потенциал энтропии определяемый формулой

подобный тем потенциалам, которые рассматриваются в дальнейшем (§ 4.1, 4.4). При помощи этого потенциала удобно исследовать быстроту сходимости (1.5.2)-(1.5.4) в теореме 1.9. Этот вопрос затрагивается в следующей теореме.

Теорема 1.13. Пусть потенциал (1.5.15) определен и дифференцируем в отрезке и пусть уравнение

имеет корень Тогда подмножество А реализаций определенное условием

имеет вероятность

Остальные реализации, составляющие дополнительное подмножество В, имеют вероятности, связанные соотношением

причем число М этих реализаций удовлетворяет неравенству

Доказательство во многом аналогично доказательству теоремы 1.9. Соотношение (1.5.19) вытекает из (1.5.17). Неравенство (1.5.17) эквивалентно неравенству

Учитывая его и равенство

находим, что число членов в этой сумме, т. е. число реализаций в В, удовлетворяет неравенству

Следовательно,

Отсюда вытекает (1.5.20), если учесть отрицательность и неравенство (1.5.18). Итак, для завершения доказательства теоремы остается обосновать (1.5.18). Это соотношение мы получим, если применим доказываемую в дальнейшем теорему 4.7 (§ 4.4) при . Доказательство закончено.

Из формул, приведенных в предыдущей теореме, можно получить ряд простых приближенных соотношений, если использовать условие малости При имеется нулевой корень уравнения (1.5.16), так как При малых значение мало, и правую часть уравнения (1.5.16) можно разложить в ряд Маклорена

так что корень уравнения будет иметь вид

Разложим далее в ряд выражение, стоящее в экспоненте (1.5.18):

Подставляя сюда (1.5.21), получаем

Здесь положительная величина, в силу общих свойств характеристического потенциала, равная дисперсии

Мы видим, что характеристический потенциал энтропии помогает исследовать вопросы, связанные с энтропийной устойчивостью.