1.4. Асимптотическая эквивалентность неравновероятных возможностей равновероятным

Идея о том, что общий случай неравновероятных возможностей (состояний) асимптотически сводится к случаю равновероятных, лежит в основе теории информации в отсутствие помех. Эта идея принадлежит Л. Больцману, который и вывел формулу (1.2.3) для энтропии. К. Шеннон возродил эту идею и широко использовал для получения новых результатов.

При рассмотрении данного вопроса в настоящем параграфе мы не будем стремиться к общности, поскольку эти результаты заведомо будут перекрыты более общими результатами в § 1.5. Возьмем набор независимых реализаций случайной величины принимающей одно из двух значений 1 или 0 с вероятностями Очевидно, что число различных таких наборов — реализаций равно Пусть реализация (обозначим ее имеет в своем составе единиц и нулей. Тогда ее вероятность равна

Конечно, эти вероятности при различных различны. Отношение самой большой вероятности к самой малой велико и сильно растет с ростом . О какой же равновероятности можно говорить? Дело в том, что по закону больших чисел число единиц имеет тенденцию принимать значения, близкие к своему среднему значению

Найдем дисперсию числа единиц. В силу независимости слагаемых имеем

причем

Следовательно,

Мы получили, таким образом, что среднее отклонение

растет с ростом но медленнее, чем растет среднее значение пр и длина всего возможного диапазона Типичное относительное отклонение убывает по закону В пределах диапазона неодинаковость вероятностей все-таки довольно велика:

(как следует из (1.4.1)) и увеличивается с ростом Но это увеличение происходит относительно медленно, т. е. гораздо медленнее, чем увеличивается обратная величина самой вероятности. Соответствующее неравенство

при становится все более и более сильным с ростом Сформулируем сказанное точнее.

Теорема 1.7. Все реализаций можно разделить на два множества так, что

1) суммарная вероятность реализаций одного множества исчезает:

2) а реализации второго множества становятся относительно равновероятными в следующем смысле:

Доказательство. Используя неравенство Чебышева (см., например, Гнеденко 11]), имеем

Учитывая (1.4.2) и полагая находим отсюда

Реализации для которых отнесем к множеству а остальные — к множеству Тогда первая часть (1.4.5) будет и предельный переход 0 в (1.4.5) докажет (1.4.3).

Для реализаций второго множества справедливо неравенство из которого, учитывая (1.4.1), получаем

Отсюда имеем

и

Следовательно,

Чтобы получить (1.4.4), здесь остается совершить предельный переход Доказательство закончено.

Неравенство (1.4.6) позволяет, кроме того, оценить число элементов множества

Теорема 1.8. Пусть множество, описанное в теореме 1.7. Число М его элементов таково, что

Эту теорему можно сформулировать также в следующей форме.

Теорема 1.8а. Если считать реализации множества имеющими нулевую вероятность, а реализации множества равновероятными и вычислять энтропию по простой формуле (см. (1.1.5)), то удельная энтропия в пределе будет совпадать с энтропией, вычисленной по формуле (1.2.3), т. е.

В описанном смысле формула (1.2.3) получается как следствие более простого соотношения (1.1.5).

Доказательство. Согласно (1.4.5) сумма

оценивается неравенством

Указанная сумма распространяется на элементы множества и имеет М членов. Вследствие (1.4.6) каждый член можно оценить сверху:

Следовательно, число членов не может Ьыть меньше определенного выражения

С Другой стороны, силу (1.4.6)

так что

Логарифмируя полученные неравенства (1.4.9), (1.4.10), имеем

Предельным переходом доказываем требуемые соотношения (1.4.7), (1.4.8).

В случае, когда принимает одно из значений, имеется различных реализаций] процесса с независимыми значениями. Согласно вышеизложенному из них заслуживают внимания лишь реализаций, которые можно считать равновероятными. Когда указанные два числа равны один другому, в противном случае, когда доля заслуживающих внимания реализаций неограниченно уменьшается с ростом Следовательно, подавляющее большинство реализаций при этом является несущественным и его можно отбросить. Этот факт лежит в основе теории кодирования (см. гл. 2).

Рассмотренный выше факт асимптотической равновероятности имеет место и при более общих предположениях в случае зргодических стационарных процессов. Указанные равновероятные реализации Больцман называл «микросостояниями», противопоставляя их «макросостояниям», образованным ансамблем «микросостояний».