А. Измеримые разбиения

Определение П18.1. Пусть ( $M,\mu )$ — измеримое пространство; разбиением $\alpha ={\left\{A_i\right\}}_{i\in I}$ пространства $M$ называется набор непустых измеримых множеств таких, что
$$\mu (A_i\cap A_j)=0\text{ при }ieqj,\mu \left(M\mathrm{\setminus }\bigcup _{i\in I}{A}_i\right)=0.$$

Разбиение $\alpha$ называется измеримым, если существует счетное множество ${\left\{B_j\right\}}_{j\in I}$ измеримых множеств таких, что:
1) каждое $B_j$ есть объединение элементов разбиения $\alpha$;
2) для любой пары $A_i,A_j$ элементов разбиения $\alpha$ существует $B_k$ такое, что $A_i\subset B_k,A_{j}ot\subset B_k$ или $A_{i}ot\subset B_k,A_j\subset B_k$.

Если разбиение $\alpha$ конечно или счетно, то оно измеримо.
Определение П18.2. Два измеримых разбиения $\alpha$ и $\beta$, совпадающих всюду за исключением, может быть, множества нуль, называются тождественными по модулю 0:
$$\alpha =\beta (mod0).$$

В дальнейшем всюду подразумевается совпадение $(mod0)$.
Определение П18.3. Условимся записывать $\alpha ⩽\beta$, если для каждого $B\in \beta$ существует $A\in \alpha$ такое, что $B\subset A$.

Отношение $⩽$ есть отношение порядка на множестве измеримых разбиений.

Определение П18.4. Пусть ${\left\{{\alpha }_i\right\}}_{i\in I}$ — семейство измеримых разбиений. Обозначим через
$$\alpha =\underset{i\in I}{\bigvee }{\alpha }_i$$

наименьшее разбиение, содержащее все ${\alpha }_i$. Иначе говоря,
$$\alpha =\{\bigcap _{j\in I}{A}_j\mid A_j\in {\alpha }_j\text{ для всех }j\}.$$

Операция $\bigvee$ коммутативна и ассоциативна. С другой стороны, если
$$\alpha ⩽{\alpha }^{\prime }\text{ и }\beta ⩽{\beta }^{\prime },$$

то
$$\alpha \vee \beta ⩽{\alpha }^{\prime }\vee {\beta }^{\prime }.$$

Определение П18.5. Пусть $\alpha$ — измеримое разбиение. Множество счетных объединений элементов разбиения $\alpha$ называется алгеброй $\mathfrak{M}(\alpha )$, порожденной разбиением $\alpha$.

Доказано, что для любой подалгебры $\mathfrak{A}$ алгебры $\hat{1}$ существует измеримое разбиение $\alpha$ такое, что
$$\mathfrak{A}=\mathfrak{M}(\alpha ).$$

Алгебра $\mathfrak{M}(\alpha )$ обладает следующими свойствами:
$$\begin{array}{c}\alpha =\beta ⟺\mathfrak{M}(\alpha )=\mathfrak{M}(\beta ),\\ \alpha ⩽\beta ⟺\mathfrak{M}(\alpha )\subset \mathfrak{M}(\beta ),\\ \mathfrak{M}\left(\underset{i\in I}{\bigvee }{\alpha }_i\right)=\underset{i\in I}{\bigvee }\mathfrak{M}\left({\alpha }_i\right)\end{array}$$

Приведенные выше обозначения введены в 1932 А. Н. Колмогоровым [3], а также Рохлиным [3].

В. Условная энтропия

Пусть $\alpha =\{A_i\mid i=1,\dots ,r\},\beta =\{B_j\mid j=1,\dots ,s\}$ — два измеримых конечных множества. Не ограничивая общности, предположим, что $\mu \left(A_i\right)>0,\mu \left(B_j\right)>0$ при всех $i,j$ (определение П18.2).

Определение П18.6. Пусть
$$z(t)=\{\begin{array}{ll}0& \text{ при }t=0,\\ -t\log t& \text{ при }0<t⩽1\text{ (логарифм двоичный). }\end{array}$$

Условной энтропией разбиения $\alpha$ относительно разбиения $\beta$ называется величина
$$h(\alpha \mid \beta )=\sum _{i=1}^s\mu \left(B_i\right)\left[\sum _{k=1}^{r}z\left(\frac{\mu (B_i\cap A_k)}{\mu \left(B_i\right)}\right)\right].$$

Свойство П18.7.
$$h(\alpha \vee \beta \mid \beta )=h(\alpha \mid \beta ).$$

Доказательство.
Элементами $\alpha \vee \beta$ служат $A_i\cap B_j$, поэтому
$$h(\alpha \vee \beta \mid \beta )=\sum _{i=1}^s\mu \left(B_i\right)\left[\sum _{j,k}z\left(\frac{\mu (B_i\cap A_j\cap B_k)}{\mu \left(B_i\right)}\right)\right].$$

Если
$$ieqk,\mu (B_i\cap B_k)=0,$$

To
$$h(\alpha \vee \beta \mid \beta )=\sum _{i=1}^s\mu \left(B_i\right)\left[\sum _{j}z\left(\frac{\mu (B_i\cap A_j)}{\mu \left(B_i\right)}\right)\right]=h(\alpha \mid \beta ).$$

Свойство П18.8.
$$h(\alpha \mid \beta )⩾0,$$

причем равенство имеет место, если $\alpha ⩽\beta$.

Доказательство.
По определению, $h(\alpha \mid \beta )⩾0$.
Так как $\mu \left(B_i\right)>0$, из $h(\alpha \mid \beta )=0$ следует, что
$$z\left(\frac{\mu (B_i\cap A_j)}{\mu \left(B_i\right)}\right)=0\text{ при всех }i,j.$$

Поэтому
$$\mu (B_i\cap A_j)=0\text{ или }\mu \left(B_i\right)=\mu (B_i\cap A_j).$$

Свойство П18.9.
$$h(\alpha \vee \beta )=h(\beta )+h(\alpha \mid \beta ).$$

Допазательстоо.
Пусть
$$\mu \left(B_i\right)=b_i,\mu (B_i\cap A_k)=c_{ik}.$$

тогда
$$\begin{array}{rl}h(\beta )+h(\alpha \mid \beta )& =-\sum _{i=1}^s{b}_i\log b_i-\sum _{i=1}^s{b}_i[\sum _{k=1}^s\frac{c_{ki}}{b_i}\log \left(\frac{c_{ki}}{b_i}\right)]=\\ & =-\sum _{i=1}^s{b}_i\log b_i-\sum _{i=1}^s\sum _{k=1}^s{c}_{ki}[\log c_{ki}-\log b_i]=\\ & =-\sum _{i,k}{c}_{ki}\log c_{ki}=h(\alpha \vee \beta ).\end{array}$$

Свойство П18.10. Если $\alpha ⩽{\alpha }^{\prime }$, то $h(\alpha )⩽h\left({\alpha }^{\prime }\right)$.
Доказательство.
В силу предыдущего свойства и П18.8 имеем:
$$h\left({\alpha }^{\prime }\right)=h({\alpha }^{\prime }\vee \alpha )=h(\alpha )+h({\alpha }^{\prime }\mid \alpha )⩾h(\alpha ).$$

Свойство П18.11. Если $\alpha ⩽{\alpha }^{\prime }$, то $h(\alpha \mid \beta )⩽h({\alpha }^{\prime }\mid \beta )$.
Доказательство.
По свойствам П18.9 и П18.10 получаем:
$$h(\alpha \mid \beta )=h(\alpha \vee \beta )-h(\beta )⩽h({\alpha }^{\prime }\vee \beta )-h(\beta )=h({\alpha }^{\prime }\mid \beta ).$$

Свойство П18.12.
$$h(\alpha \vee {\alpha }^{\prime }\mid \beta )⩽h(\alpha \mid \beta )+h({\alpha }^{\prime }\mid \beta ).$$

Доказательство.

В силу выпуклости функции $z(x)$
$$h(\alpha \vee {\alpha }^{\prime }\vee \beta )+h(\beta )⩽h(\alpha \vee \beta )+h({\alpha }^{\prime }\vee \beta )$$

или
$$h(\alpha \vee {\alpha }^{\prime }\vee \beta )-h(\beta )⩽h(\alpha \vee \beta )-h(\beta )+h({\alpha }^{\prime }\vee \beta )-h(\beta ).$$

Следовательно, по свойству П18.9,
$$h(\alpha \vee {\alpha }^{\prime }\mid \beta )⩽h(\alpha \mid \beta )+h({\alpha }^{\prime }\mid \beta ).$$

Свойство П18.13. Если $\beta ⩽{\beta }^{\prime }$, то $h(\alpha \mid \beta )⩾h(\alpha \mid {\beta }^{\prime })$.
Доказательство.
Пусть
$$\frac{\mu (B_k^{\prime }\cap B_j)}{\mu \left(B_j\right)}=\mu (B_k^{\prime }\mid B_j),$$

где
$$\left\{B_k^{\prime }\right\}={\beta }^{\prime },\left\{B_j\right\}=\beta .$$

Так как меры $\mu (B^{\prime }{}_k\mid B_j)$ положительны, а их сумма при фиксированном $j$ равна 1 , из выпуклости функции $z(x)$ следует, что
$$\sum _{k}z\left[\mu (A_i\mid B_k^{\prime })\right]\cdot \mu (B_k^{\prime }\mid B_j)⩽z[\sum _k\mu (A_i\mid B_k^{\prime })\cdot \mu (B_k^{\prime }\mid B_j)].$$

Поскольку $\beta ⩽{\beta }^{\prime }$, каждое $B_j$ есть объединение некоторых $B_k^{\prime }$ :
$$B_j=\bigcup _{k^{\prime }}{B}_{k^{\prime }}^{\prime };$$

следовательно,
$$\sum _k\mu (A_i\mid B_k^{\prime })\mu (B_k^{\prime }\mid B_j)=\sum _{k^{\prime }}\mu (A_i\mid B_{k^{\prime }}^{\prime })\frac{\mu \left(B_k^{\prime }\right)}{\mu \left(B_j\right)}=\mu (A_i\mid B_j).$$

Отсюда мы заключаем:
$$\sum _{k}z\left[\mu (A_i\mid B_k^{\prime })\right]\cdot \mu (B_k^{\prime }\mid B_j)⩽z\left[\mu (A_i\mid B_j)\right].$$

Умножая правую и левую части на $\mu \left(B_j\right)$ и суммируя по $i$ и $j$, получаем П18.13.

Предыдущие свойства распространяются на счетные измеримые разбиения (см. Рохлин и Синай [5]).

Если $\alpha$ и $\beta$ — два счетных измеримых разбиения, то $\alpha$ индуцирует на каждом элементе $B_i$ разбиения $\beta$ с ренормированной мерой измеримое разбиение ${\alpha }_{B_i}$ с энтропией $h\left({\alpha }_{B_i}\right)$, которая определяет условную энтропию разбиения $\alpha$ относительно $\beta$ :
$$h(\alpha \mid \beta )={\int }_{M\mid \beta }h\left({\alpha }_{B_i}\right)d{\mu }_{\beta }.$$

Здесь $M\mid \beta$ — пространство, точками которого являются элементы разбиения $\beta$. Мера ${\mu }_{\beta }$ на $M\mid \beta$ определяется следующим образом:

если $p:M\to M\mid \beta -$ каноническая проекция и $p^{-1}(K)$ измеримо, то $K\subset M\mid \beta$ называется и ${\mu }_B(K)={\mu }_B\left(p^{-1}K\right)$.

Нетрудно проверить, что предыдущее определение энтропии $h(\alpha \mid \beta )$ совпадает с определением, данным в конечном случае, когда разбиения $\alpha$ и $\beta$ конечны. Можно проверить также свойства П18.7-П18.13 и следующие свойства.

Свойство П18.14.
$$\text{ Пусть }{\alpha }_1⩽{\alpha }_2⩽\dots ⩽\underset{n=1}{\overset{\mathrm{\infty }}{\bigvee }}{\alpha }_n=\alpha \text{, тогда }\underset{n\to \mathrm{\infty }}{lim}h({\alpha }_n\mid \beta )=h(\alpha \mid \beta )\text{. }$$

Свойство П18.15. Пусть $h(\alpha )<\mathrm{\infty }$ и ${\beta }_1⩽\dots ⩽\underset{n=1}{\overset{\mathrm{\infty }}{\bigvee }}{\beta }_n=\beta$. Тогда $\underset{n\to \mathrm{\infty }}{lim}h(\alpha \mid {\beta }_n)=h(\alpha \mid \beta )$.