А. Измеримые разбиения

Определение П18.1. Пусть ( $M, \mu)$ — измеримое пространство; разбиением $\alpha=\left\{A_{i}\right\}_{i \in I}$ пространства $M$ называется набор непустых измеримых множеств таких, что
\[
\mu\left(A_{i} \cap A_{j}\right)=0 \quad \text { при } \quad i
eq j, \quad \mu\left(M \backslash \bigcup_{i \in I} A_{i}\right)=0 .
\]

Разбиение $\alpha$ называется измеримым, если существует счетное множество $\left\{B_{j}\right\}_{j \in I}$ измеримых множеств таких, что:
1) каждое $B_{j}$ есть объединение элементов разбиения $\alpha$;
2) для любой пары $A_{i}, A_{j}$ элементов разбиения $\alpha$ существует $B_{k}$ такое, что $A_{i} \subset B_{k}, A_{j}
ot \subset B_{k}$ или $A_{i}
ot \subset B_{k}, A_{j} \subset B_{k}$.

Если разбиение $\alpha$ конечно или счетно, то оно измеримо.
Определение П18.2. Два измеримых разбиения $\alpha$ и $\beta$, совпадающих всюду за исключением, может быть, множества нуль, называются тождественными по модулю 0:
\[
\alpha=\beta \quad(\bmod 0) .
\]

В дальнейшем всюду подразумевается совпадение $(\bmod 0)$.
Определение П18.3. Условимся записывать $\alpha \leqslant \beta$, если для каждого $B \in \beta$ существует $A \in \alpha$ такое, что $B \subset A$.

Отношение $\leqslant$ есть отношение порядка на множестве измеримых разбиений.

Определение П18.4. Пусть $\left\{\alpha_{i}\right\}_{i \in I}$ — семейство измеримых разбиений. Обозначим через
\[
\alpha=\bigvee_{i \in I} \alpha_{i}
\]

наименьшее разбиение, содержащее все $\alpha_{i}$. Иначе говоря,
\[
\alpha=\left\{\bigcap_{j \in I} A_{j} \mid A_{j} \in \alpha_{j} \text { для всех } j\right\} .
\]

Операция $\bigvee$ коммутативна и ассоциативна. С другой стороны, если
\[
\alpha \leqslant \alpha^{\prime} \quad \text { и } \quad \beta \leqslant \beta^{\prime},
\]

то
\[
\alpha \vee \beta \leqslant \alpha^{\prime} \vee \beta^{\prime} .
\]

Определение П18.5. Пусть $\alpha$ — измеримое разбиение. Множество счетных объединений элементов разбиения $\alpha$ называется алгеброй $\mathfrak{M}(\alpha)$, порожденной разбиением $\alpha$.

Доказано, что для любой подалгебры $\mathfrak{A}$ алгебры $\hat{1}$ существует измеримое разбиение $\alpha$ такое, что
\[
\mathfrak{A}=\mathfrak{M}(\alpha) .
\]

Алгебра $\mathfrak{M}(\alpha)$ обладает следующими свойствами:
\[
\begin{array}{c}
\alpha=\beta \Longleftrightarrow \mathfrak{M}(\alpha)=\mathfrak{M}(\beta), \\
\alpha \leqslant \beta \Longleftrightarrow \mathfrak{M}(\alpha) \subset \mathfrak{M}(\beta), \\
\mathfrak{M}\left(\bigvee_{i \in I} \alpha_{i}\right)=\bigvee_{i \in I} \mathfrak{M}\left(\alpha_{i}\right)
\end{array}
\]

Приведенные выше обозначения введены в 1932 А. Н. Колмогоровым [3], а также Рохлиным [3].

В. Условная энтропия

Пусть $\alpha=\left\{A_{i} \mid i=1, \ldots, r\right\}, \beta=\left\{B_{j} \mid j=1, \ldots, s\right\}$ — два измеримых конечных множества. Не ограничивая общности, предположим, что $\mu\left(A_{i}\right)>0, \mu\left(B_{j}\right)>0$ при всех $i, j$ (определение П18.2).

Определение П18.6. Пусть
\[
z(t)=\left\{\begin{array}{ll}
0 & \text { при } t=0, \\
-t \log t & \text { при } 0<t \leqslant 1 \text { (логарифм двоичный). }
\end{array}\right.
\]

Условной энтропией разбиения $\alpha$ относительно разбиения $\beta$ называется величина
\[
h(\alpha \mid \beta)=\sum_{i=1}^{s} \mu\left(B_{i}\right)\left[\sum_{k=1}^{r} z\left(\frac{\mu\left(B_{i} \cap A_{k}\right)}{\mu\left(B_{i}\right)}\right)\right] .
\]

Свойство П18.7.
\[
h(\alpha \vee \beta \mid \beta)=h(\alpha \mid \beta) .
\]

Доказательство.
Элементами $\alpha \vee \beta$ служат $A_{i} \cap B_{j}$, поэтому
\[
h(\alpha \vee \beta \mid \beta)=\sum_{i=1}^{s} \mu\left(B_{i}\right)\left[\sum_{j, k} z\left(\frac{\mu\left(B_{i} \cap A_{j} \cap B_{k}\right)}{\mu\left(B_{i}\right)}\right)\right] .
\]

Если
\[
i
eq k, \quad \mu\left(B_{i} \cap B_{k}\right)=0,
\]

To
\[
h(\alpha \vee \beta \mid \beta)=\sum_{i=1}^{s} \mu\left(B_{i}\right)\left[\sum_{j} z\left(\frac{\mu\left(B_{i} \cap A_{j}\right)}{\mu\left(B_{i}\right)}\right)\right]=h(\alpha \mid \beta) .
\]

Свойство П18.8.
\[
h(\alpha \mid \beta) \geqslant 0,
\]

причем равенство имеет место, если $\alpha \leqslant \beta$.

Доказательство.
По определению, $h(\alpha \mid \beta) \geqslant 0$.
Так как $\mu\left(B_{i}\right)>0$, из $h(\alpha \mid \beta)=0$ следует, что
\[
z\left(\frac{\mu\left(B_{i} \cap A_{j}\right)}{\mu\left(B_{i}\right)}\right)=0 \quad \text { при всех } \quad i, j .
\]

Поэтому
\[
\mu\left(B_{i} \cap A_{j}\right)=0 \quad \text { или } \quad \mu\left(B_{i}\right)=\mu\left(B_{i} \cap A_{j}\right) .
\]

Свойство П18.9.
\[
h(\alpha \vee \beta)=h(\beta)+h(\alpha \mid \beta) .
\]

Допазательстоо.
Пусть
\[
\mu\left(B_{i}\right)=b_{i}, \quad \mu\left(B_{i} \cap A_{k}\right)=c_{i k} .
\]

тогда
\[
\begin{aligned}
h(\beta)+h(\alpha \mid \beta) & =-\sum_{i=1}^{s} b_{i} \log b_{i}-\sum_{i=1}^{s} b_{i}\left[\sum_{k=1}^{s} \frac{c_{k i}}{b_{i}} \log \left(\frac{c_{k i}}{b_{i}}\right)\right]= \\
& =-\sum_{i=1}^{s} b_{i} \log b_{i}-\sum_{i=1}^{s} \sum_{k=1}^{s} c_{k i}\left[\log c_{k i}-\log b_{i}\right]= \\
& =-\sum_{i, k} c_{k i} \log c_{k i}=h(\alpha \vee \beta) .
\end{aligned}
\]

Свойство П18.10. Если $\alpha \leqslant \alpha^{\prime}$, то $h(\alpha) \leqslant h\left(\alpha^{\prime}\right)$.
Доказательство.
В силу предыдущего свойства и П18.8 имеем:
\[
h\left(\alpha^{\prime}\right)=h\left(\alpha^{\prime} \vee \alpha\right)=h(\alpha)+h\left(\alpha^{\prime} \mid \alpha\right) \geqslant h(\alpha) .
\]

Свойство П18.11. Если $\alpha \leqslant \alpha^{\prime}$, то $h(\alpha \mid \beta) \leqslant h\left(\alpha^{\prime} \mid \beta\right)$.
Доказательство.
По свойствам П18.9 и П18.10 получаем:
\[
h(\alpha \mid \beta)=h(\alpha \vee \beta)-h(\beta) \leqslant h\left(\alpha^{\prime} \vee \beta\right)-h(\beta)=h\left(\alpha^{\prime} \mid \beta\right) .
\]

Свойство П18.12.
\[
h\left(\alpha \vee \alpha^{\prime} \mid \beta\right) \leqslant h(\alpha \mid \beta)+h\left(\alpha^{\prime} \mid \beta\right) .
\]

Доказательство.

В силу выпуклости функции $z(x)$
\[
h\left(\alpha \vee \alpha^{\prime} \vee \beta\right)+h(\beta) \leqslant h(\alpha \vee \beta)+h\left(\alpha^{\prime} \vee \beta\right)
\]

или
\[
h\left(\alpha \vee \alpha^{\prime} \vee \beta\right)-h(\beta) \leqslant h(\alpha \vee \beta)-h(\beta)+h\left(\alpha^{\prime} \vee \beta\right)-h(\beta) .
\]

Следовательно, по свойству П18.9,
\[
h\left(\alpha \vee \alpha^{\prime} \mid \beta\right) \leqslant h(\alpha \mid \beta)+h\left(\alpha^{\prime} \mid \beta\right) .
\]

Свойство П18.13. Если $\beta \leqslant \beta^{\prime}$, то $h(\alpha \mid \beta) \geqslant h\left(\alpha \mid \beta^{\prime}\right)$.
Доказательство.
Пусть
\[
\frac{\mu\left(B_{k}^{\prime} \cap B_{j}\right)}{\mu\left(B_{j}\right)}=\mu\left(B_{k}^{\prime} \mid B_{j}\right),
\]

где
\[
\left\{B_{k}^{\prime}\right\}=\beta^{\prime}, \quad\left\{B_{j}\right\}=\beta .
\]

Так как меры $\mu\left(B^{\prime}{ }_{k} \mid B_{j}\right)$ положительны, а их сумма при фиксированном $j$ равна 1 , из выпуклости функции $z(x)$ следует, что
\[
\sum_{k} z\left[\mu\left(A_{i} \mid B_{k}^{\prime}\right)\right] \cdot \mu\left(B_{k}^{\prime} \mid B_{j}\right) \leqslant z\left[\sum_{k} \mu\left(A_{i} \mid B_{k}^{\prime}\right) \cdot \mu\left(B_{k}^{\prime} \mid B_{j}\right)\right] .
\]

Поскольку $\beta \leqslant \beta^{\prime}$, каждое $B_{j}$ есть объединение некоторых $B_{k}^{\prime}$ :
\[
B_{j}=\bigcup_{k^{\prime}} B_{k^{\prime}}^{\prime} ;
\]

следовательно,
\[
\sum_{k} \mu\left(A_{i} \mid B_{k}^{\prime}\right) \mu\left(B_{k}^{\prime} \mid B_{j}\right)=\sum_{k^{\prime}} \mu\left(A_{i} \mid B_{k^{\prime}}^{\prime}\right) \frac{\mu\left(B_{k}^{\prime}\right)}{\mu\left(B_{j}\right)}=\mu\left(A_{i} \mid B_{j}\right) .
\]

Отсюда мы заключаем:
\[
\sum_{k} z\left[\mu\left(A_{i} \mid B_{k}^{\prime}\right)\right] \cdot \mu\left(B_{k}^{\prime} \mid B_{j}\right) \leqslant z\left[\mu\left(A_{i} \mid B_{j}\right)\right] .
\]

Умножая правую и левую части на $\mu\left(B_{j}\right)$ и суммируя по $i$ и $j$, получаем П18.13.

Предыдущие свойства распространяются на счетные измеримые разбиения (см. Рохлин и Синай [5]).

Если $\alpha$ и $\beta$ — два счетных измеримых разбиения, то $\alpha$ индуцирует на каждом элементе $B_{i}$ разбиения $\beta$ с ренормированной мерой измеримое разбиение $\alpha_{B_{i}}$ с энтропией $h\left(\alpha_{B_{i}}\right)$, которая определяет условную энтропию разбиения $\alpha$ относительно $\beta$ :
\[
h(\alpha \mid \beta)=\int_{M \mid \beta} h\left(\alpha_{B_{i}}\right) d \mu_{\beta} .
\]

Здесь $M \mid \beta$ — пространство, точками которого являются элементы разбиения $\beta$. Мера $\mu_{\beta}$ на $M \mid \beta$ определяется следующим образом:

если $p: M \rightarrow M \mid \beta-$ каноническая проекция и $p^{-1}(K)$ измеримо, то $K \subset M \mid \beta$ называется и $\mu_{B}(K)=\mu_{B}\left(p^{-1} K\right)$.

Нетрудно проверить, что предыдущее определение энтропии $h(\alpha \mid \beta)$ совпадает с определением, данным в конечном случае, когда разбиения $\alpha$ и $\beta$ конечны. Можно проверить также свойства П18.7-П18.13 и следующие свойства.

Свойство П18.14.
\[
\text { Пусть } \alpha_{1} \leqslant \alpha_{2} \leqslant \ldots \leqslant \bigvee_{n=1}^{\infty} \alpha_{n}=\alpha \text {, тогда } \lim _{n \rightarrow \infty} h\left(\alpha_{n} \mid \beta\right)=h(\alpha \mid \beta) \text {. }
\]

Свойство П18.15. Пусть $h(\alpha)<\infty$ и $\beta_{1} \leqslant \ldots \leqslant \bigvee_{n=1}^{\infty} \beta_{n}=\beta$. Тогда $\lim _{n \rightarrow \infty} h\left(\alpha \mid \beta_{n}\right)=h(\alpha \mid \beta)$.