Докажем следующую теорему ${ }^{1}$.

Теорема П19.1 (А. Н. Колмогоров). Если $\alpha$ – образующее разбиение относительно $\varphi$, то $h(\varphi)=h(\alpha, \varphi)$.
Прежде всего приведем несколько лемм.
Обозначим через $\mathscr{F}$ множество измеримых разбиений с конечной энтропией. Для заданных $\alpha, \beta \in \mathscr{F}$ определим
\[
|\alpha, \beta|=h(\alpha \mid \beta)+h(\beta \mid \alpha) .
\]

Лемма П19.2. $|\alpha, \beta|$ есть расстояние на $\mathscr{F}$.
Доказательство.
Ясно, что $|\alpha, \beta| \geqslant 0$. Если $|\alpha, \beta|=0$, то $h(\alpha \mid \beta)=0$, следовательно, $\alpha \leqslant \beta$ (формула 12.7 , гл. 2). Точно также $\beta \leqslant \alpha$, следовательно, $\alpha=\beta$. Ясно, что $|\alpha, \beta|=|\beta, \alpha|$. По формулам (12.11), (12.12) и (12.9) (гл. 2),
\[
\begin{aligned}
h(\alpha \mid \gamma) & =h(\alpha \vee \gamma)-h(\gamma) \leqslant h(\alpha \vee \beta \vee \gamma)-h(\beta \vee \gamma)+h(\beta \vee \gamma)-h(\gamma)= \\
& =h(\alpha \mid \beta \vee \gamma)+h(\beta \mid \gamma) \leqslant h(\alpha \mid \beta)+h(\beta \mid \gamma) .
\end{aligned}
\]

Точно также имеем
\[
h(\gamma \mid \alpha) \leqslant h(\beta \mid \alpha)+h(\gamma \mid \beta) .
\]

Кроме того, мы заключаем, что
\[
|\alpha, \gamma| \leqslant|\alpha, \beta|+|\beta, \gamma| .
\]

Лемма П19.3. При фиксированном $\varphi$ энтропия $h(\alpha, \varphi)$ непрерывна по $\alpha$ на $\mathscr{F}$. Более того, если $\alpha, \beta \in \mathscr{F}$, то
\[
|h(\alpha, \varphi)-h(\beta, \varphi)| \leqslant|\alpha, \beta| .
\]

Доказательство.

По формуле 12.11 (гл. 2), если положить
\[
\alpha_{n}=\alpha \vee \varphi \alpha \vee \ldots \vee \varphi^{n-1} \alpha, \quad \beta_{n}=\beta \vee \varphi \beta \vee \ldots \vee \varphi^{n-1} \beta,
\]

получаем
\[
\begin{aligned}
h\left(\beta_{n} \mid \alpha_{n}\right)-h\left(\alpha_{n} \mid \beta_{n}\right) & =\left[h\left(\alpha_{n} \vee \beta_{n}\right)-h\left(\alpha_{n}\right)\right]-\left[h\left(\alpha_{n} \vee \beta_{n}\right)-h\left(\beta_{n}\right)\right]= \\
& =h\left(\beta_{n}\right)-h\left(\alpha_{n}\right) .
\end{aligned}
\]

Поскольку $h(\cdot \mid \cdot) \geqslant 0$, получаем
\[
\left|h\left(\beta_{n}\right)-h\left(\alpha_{n}\right)\right| \leqslant h\left(\beta_{n} \mid \alpha_{n}\right)+h\left(\alpha_{n} \mid \beta_{n}\right) .
\]

С другой стороны, (см. формулу (12.10), гл.2)
\[
\begin{aligned}
h\left(\alpha_{n} \mid \beta_{n}\right)=h(\alpha \vee \ldots & \left.\vee \varphi^{n-1} \alpha \mid \beta_{n}\right) \leqslant \\
& \leqslant\left(\alpha \mid \beta_{n}\right)+h\left(\varphi \alpha \mid \beta_{n}\right)+\ldots+h\left(\varphi^{n-1} \alpha \mid \beta_{n}\right),
\end{aligned}
\]

а так как $\beta, \varphi \beta, \ldots, \varphi^{n-1} \beta \leqslant \beta_{n}$, получаем (см. формулу (12.9), гл. 2):
\[
h\left(\alpha_{n} \mid \beta_{n}\right) \leqslant h(\alpha \mid \beta)+h(\varphi \alpha \mid \varphi \beta)+\ldots+h\left(\varphi^{n-1} \alpha \mid \varphi^{n-1} \beta\right)=n h(\alpha \mid \beta) .
\]

Аналогичным образом,
\[
h\left(\beta_{n} \mid \alpha_{n}\right) \leqslant n h(\alpha \mid \beta) .
\]

Суммируя, получаем:
\[
\left|h\left(\beta_{n}\right)-h\left(\alpha_{n}\right)\right| \leqslant n[h(\alpha \mid \beta)+h(\beta \mid \alpha)]=n h|\alpha, \beta| .
\]

Утверждение леммы мы получим, разделив правую и левую части равенства на $n$ и устремив $n$ к $+\infty$.

Лемма П19.4. Конечные разбиения плотны в $\mathscr{F}$.

Доказательство.

Пусть $\alpha \in \mathscr{F}$; обозначим через $C_{1}, C_{2}, \ldots$ – элементы положительной меры разбиения $\alpha$. Предположим, что число этих элементов бесконечно.
Пусть $\alpha_{n}$ — разбиение элементов
\[
C_{1}, \ldots, C_{n-1}, E_{n}, \quad \text { где } \quad E_{n}=M \backslash\left(C_{1} \cup \ldots \cup C_{n}\right) .
\]

Так как $\alpha_{n} \leqslant \alpha$, имеем:
\[
\begin{aligned}
\left|\alpha, \alpha_{n}\right| & =h\left(\alpha \mid \alpha_{n}\right)+h\left(\alpha_{n} \mid \alpha\right)=h(\alpha)-h\left(\alpha_{n}\right)= \\
& =\mu\left(E_{n}\right) \log \mu\left(E_{n}\right)-\sum_{i=0}^{\infty} \mu\left(C_{i}\right) \log \mu\left(C_{i}\right)
\end{aligned}
\]

Но $\lim _{n \rightarrow \infty} \mu\left(E_{n}\right)=0$, и ряд $\sum \mu\left(C_{i}\right) \log \mu\left(C_{i}\right)$ сходится; следовательно,
\[
\lim _{n \rightarrow \infty}\left|\alpha, \alpha_{n}\right|=0
\]

Лемма П19.5. Если $\alpha_{1}, \alpha_{2}, \ldots$ – последовательность разбиений таких, что
\[
\begin{array}{l}
\alpha_{1} \leqslant \alpha_{2} \leqslant \ldots \leqslant \alpha_{n} \leqslant \alpha_{n+1} \leqslant \ldots, \\
\bigvee_{n=1}^{\infty} \mathfrak{M}\left(\alpha_{n}\right)=\widehat{1},
\end{array}
\]

то множество разбиений $\beta$ конечной энтропии таких, что $\beta \leqslant \alpha_{n}$, по крайней мере при некотором $п$ всюду плотно в $\mathscr{F}$.

Доказательство.
По предыдущей лемме, достаточно доказать, что для любого конечного разбиения $\alpha$ и любого $\delta>0$ существуют некоторое $n$ и $\beta \in \mathscr{F}$ такие, что
\[
\beta \leqslant \alpha_{n}, \quad|\alpha, \beta|<\delta .
\]

Пусть $C_{1}, C_{2}, \ldots, C_{m}$ – элементы разбиения $\alpha$. Из (П19.6) следует, что при всех $\delta^{\prime}>0$ существует некоторое $n$ и множества $C_{1}^{\prime}, \ldots, C_{m-1}^{\prime}$ алгебры $\mathfrak{M}\left(\alpha_{m}\right)$ такие, что
\[
\mu\left(\left(C_{i} \cup C_{i}^{\prime}\right) \backslash\left(C_{i} \cap C_{i}^{\prime}\right)\right)<\delta^{\prime}, \quad i=1, \ldots, m-1 .
\]

Построим разбиение $\beta$ множества $M$; его элементы $D_{1}, \ldots, D_{m}$ определяются следующим образом:
\[
D_{1}=C_{1}^{\prime}, \quad D_{2}=C_{2}^{\prime} \backslash\left(C_{2}^{\prime} \cap C_{1}^{\prime}\right), \quad D_{i}=C_{i}^{\prime} \backslash\left(C_{i}^{\prime} \cap\left(C_{1}^{\prime} \cup \ldots \cup C_{i-1}^{\prime}\right)\right)
\]

при $i=2, \ldots, m-1$, и
\[
D_{m}=M \backslash\left(C_{1}^{\prime} \cup \ldots \cup C_{m-1}^{\prime}\right) .
\]

Ясно, что $\beta \leqslant \alpha_{n}$ и
\[
\begin{aligned}
|\alpha, \beta|= & h(\alpha \mid \beta)+h(\beta \mid \alpha)= \\
= & \sum_{i=1}^{\infty} \mu\left(C_{i}\right) \log \mu\left(C_{i}\right)+\sum_{i=1}^{\infty} \mu\left(D_{i}\right) \log \mu\left(D_{i}\right)- \\
& -2 \sum_{i, j=1}^{\infty} \mu\left(C_{i} \cap D_{j}\right) \log \mu\left(C_{i} \cap D_{j}\right) .
\end{aligned}
\]

Это доказывает, что $|\alpha, \beta|$ непрерывно зависит от $C_{1}^{\prime}, \ldots, C_{m-1}^{\prime}$ и обращается в нуль при $C_{1}^{\prime}=C_{1}, \ldots, C_{m-1}^{\prime}=C_{m-1}$. Следовательно, $|\alpha, \beta|<\delta$ при достаточно малом $\delta^{\prime}$.
Доказательство теоремы П19.1.
Пусть $\alpha$ – образующее разбиение относительно $\varphi$. Положим
\[
\widetilde{\alpha}_{n}=\varphi^{-n+1} \alpha \vee \ldots \vee \varphi^{n-1} \alpha .
\]

Тогда
\[
\begin{array}{c}
\widetilde{\alpha}_{1} \leqslant \widetilde{\alpha}_{2} \leqslant \ldots \leqslant \widetilde{\alpha}_{n} \leqslant \widetilde{\alpha}_{n+1} \leqslant \ldots, \\
\bigvee_{n=0}^{\infty} \mathfrak{M}\left(\widetilde{\alpha}_{n}\right)=\widehat{1} .
\end{array}
\]

Из предыдущей леммы следует, что множество $\mathfrak{B}$ разбиений $\beta$ таких, что $\beta \leqslant \widetilde{\alpha}_{n}$ при по крайней мере одном $n$, плотно в $\mathscr{F}$. Пусть $\beta \in \mathfrak{B}$.

Полагая $\widetilde{\lambda}_{q}=\varphi^{-q+1} \lambda \vee \ldots \vee \varphi^{q-1} \lambda$ при любом разбиении $\lambda$ и любом целом $q$, получаем:
\[
\widetilde{\beta}_{m} \leqslant \widetilde{\left(\widetilde{\alpha}_{n}\right)_{m}}=\widetilde{\alpha}_{n+m-1} .
\]

Следовательно (см. формулу 12.12, гл. 2),
\[
h\left(\widetilde{\beta}_{m}\right) \leqslant h\left(\widetilde{\alpha}_{n+m-1}\right),
\]

откуда
\[
\frac{h\left(\widetilde{\beta}_{m}\right)}{m} \leqslant \frac{h\left(\widetilde{\alpha}_{n+m-1}\right)}{n+m-1} \cdot \frac{n+m-1}{m} .
\]

Ho
\[
\begin{array}{c}
\frac{h\left(\widetilde{\lambda}_{q}\right)}{q}=\frac{h\left(\varphi^{-q+1} \lambda \vee \ldots \vee \varphi^{q-1} \lambda\right)}{q}= \\
=\frac{h\left(\lambda \vee \ldots \vee \varphi^{2 q-2} \lambda\right)}{2 q-1} \cdot \frac{2 q-1}{q} \rightarrow 2 h(\lambda, \varphi) \quad \text { при } \quad q \rightarrow \infty .
\end{array}
\]

Следовательно, устремляя $m$ к $+\infty$, получаем:
\[
h(\beta, \varphi) \leqslant h(\alpha, \varphi) .
\]

Но множество $\mathfrak{B}$ плотно в $\mathscr{F}$, и $h(\beta, \varphi)$ непрерывна в $\beta$ по лемме П19.3. Следовательно,
\[
h(\alpha, \varphi) \geqslant \sup _{\mathfrak{B}} h(\beta, \varphi)=h(\varphi),
\]

то есть
\[
h(\alpha, \varphi)=h(\varphi) .
\]