Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше
Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике
Глава XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ РАВНОМЕРНОЙ СХОДИМОСТИ ЧАСТОТ К ВЕРОЯТНОСТЯМ ПО КЛАССУ СОБЫТИЙ
§ 1. Энтропия системы событий
Большинство практически
интересных приложений охватывается изложенными в предыдущей главе достаточными
условиями. Интересно, однако, получить и исчерпывающие необходимые и
достаточные условия. Существенно, что это удается сделать в терминах, введенных
в § 3 главы X.
В отличие от достаточных условий,
сформулированных в § 6 главы X, необходимые и достаточные условия, вообще
говоря, зависят от задания вероятностной меры на множестве 
, но схема, по которой они
строятся, остается прежней. Идея, как и раньше, состоит в том, чтобы заменить
бесконечную систему событий 
конечной подсистемой, состоящей лишь из
различимых на выборке событий. Число таких событий зависит от выборки и равно
индексу системы относительно
выборки
.
При
выводе достаточных условий использовалась функция роста 
, оценивающая сверху значение
индекса для выборок длины 
. Такая оценка оказывается слишком грубой
для получения необходимых и достаточных условий. Последние удается
сформулировать, если ввести некоторую усредненную характеристику величины .
Рассмотрим функцию
(
– символ
математического ожидания).
Здесь и дальше предполагается,
что функция измерима
и этого достаточно для существования математического ожидания, поскольку
и
соответственно
. (11.1)
В
силу этих же соотношений очевидно, что
.
Функция 
обладает свойством
полуаддитивности, что позволяет назвать ее энтропией системы событий относительно выборок
длины .
В самом деле, рассмотрим выборку
.
Каждая
подвыборка, индуцированная некоторым событием 
на этой выборке, состоит из подвыборки,
индуцированной 
на
,
и
подвыборки, индуцированной на
.
Поэтому число 
не превосходит числа
пар подвыборок, каждая из которых состоит из одной подвыборки, индуцированной
некоторым на
и одной
подвыборки, индуцированной на . Следовательно,
(11.2)
и
соответственно
. (11.3)
Усредняя
соотношение (11.3), получим
, (11.4)
т.
е. свойство полуаддитивности.
Применяя (11.4) многократно,
получаем
. (11.5)
