Начнем с определения понятия устойчивости и неустойчивости. Пусть задано топологическое пространство $\mathfrak{R}$, точки которого обозначим через $\mathfrak{p}$, и пусть $\mathfrak{a}$ есть фиксированная точка пространства $\mathfrak{R}$. Под окрестностями в дальнейшем будем понимать только окрестности точки $\mathfrak{a}$ в пространстве $\mathfrak{R}$. Пусть $\mathfrak{p}_{1}=S \mathfrak{p}$ топологическое отображение окрестности $\mathfrak{U}_{1}$ на окрестность $\mathfrak{B}_{1}$, причем точка $\mathfrak{a}=S \mathfrak{a}$ отображается сама в себя. Обратное преобразование $\mathfrak{p}_{-1}=S^{-1} \mathfrak{p}$ переводит $\mathfrak{B}_{1}$ в $\mathfrak{U}_{1}$, и вообще $\mathfrak{p}_{n}=S^{n} \mathfrak{p}(n=0, \pm 1, \pm 2, \ldots)$ будет топологическим отображением окрестности $\mathfrak{U}_{n}$ на окрестность $\mathfrak{B}_{n}$, которое имеет $\mathfrak{a}$ неподвижной точкой. Для каждой точки $\mathfrak{p}-\mathfrak{p}_{0}$ пересечения $\mathfrak{U}_{1} \cap \mathfrak{B}_{1}-\mathfrak{W}$ найдем последовательно образы $\mathfrak{p}_{k+1}=S \mathfrak{p}_{k}(k=0,1, \ldots)$, пока $\mathfrak{p}_{k}$ находится в $\mathfrak{U}_{1}$, и равным образом $\mathfrak{p}_{-k-1}=S^{-1} \mathfrak{p}_{k}$, пока $\mathfrak{p}_{-k}$ лежит в $\mathfrak{B}_{1}$. Всегда существует максимальное число $k+1=n$, такое, что все $\mathfrak{p}_{0}, \ldots, \mathfrak{p}_{n-1}$ еще лежат в $\mathfrak{U}_{1}$, но $\mathfrak{p}_{n}$ там уже не лежит; аналогичное утверждение справедливо для отрицательных индексов. При этом для каждого $\mathfrak{p}$ из $\mathfrak{W}$ имеется или конечная, или бесконечная в одну сторону, или бесконечная в обе стороны последовательность образов $\mathfrak{p}_{k}=\ldots, \mathfrak{p}_{-1}, \mathfrak{p}_{0}, \mathfrak{p}_{1}, \ldots$, причем индекс $k$ последовательно пробегает целые числа.

Назовем отображение $S$ устойчивым в неподвижной точке $\mathfrak{a}$, если для каждой окрестности $\mathfrak{U} \subset \mathfrak{B}$ существует такая ее часть $\mathfrak{B} \subset \mathfrak{U}$, для которой все образы $S^{n} \mathfrak{B}(n= \pm 1, \pm 2, \ldots)$ лежат в $\mathfrak{U}$. Неустойчивость определим не просто как логическую противоположность устойчивости, но с помощью более сильного требования, а именно следующим образом. Отображение $S$ называется неустойчивым в неподвижной точке $\mathfrak{a}$, если существует такая окрестность $\mathfrak{U} \subset \mathfrak{W}$, что для каждой точки $\mathfrak{p}
eq \mathfrak{a}$ из $\mathfrak{U}$ по крайней мере один образ $\mathfrak{p}_{n}$ лежит вне $\mathfrak{U}$.

Эти определения можно также сформулировать иначе. Точечное множество $\mathfrak{M} \subset \mathfrak{W}$ называется при отображении $S$ инвариантным, если $\mathfrak{M}=S \mathfrak{M}$. Само собой разумеется, что неподвижная точка $\mathfrak{a}$ является инвариантным точечным множеством. Покажем теперь, что $S$ тогда и только тогда устойчиво, если в каждой окрестности $\mathfrak{U}$ содержится инвариантная окрестность $\mathfrak{B}$. Если для каждой окрестности $\mathfrak{U}$ существует окрестность $\mathfrak{B}=S \mathfrak{B} \subset \mathfrak{U}$, то $\mathfrak{B}$ обладает, очевидно, по определению, свойством устойчивости; тогда, следовательно, $S$ устойчиво. Наоборот, если $S$ предположить устойчивым, то для каждой окрестности $\mathfrak{U} \subset \mathfrak{W}$ существует окрестность $\mathfrak{Q} \subset \mathfrak{U}$, для которой $S^{n} \mathfrak{Q} \subset \mathfrak{U}$ $(n=0, \pm 1, \pm 2 \ldots)$. Тогда сумма $\mathfrak{B}=\bigcup_{n} S^{n} \mathfrak{Q}$ всех множеств $S^{n} \mathfrak{Q}$ будет при $S$ инвариантной и будет являться той окрестностью, существование которой требуется доказать. Соответственно покажем, что $S$ тогда и только тогда неустойчиво, если существует окрестность $\mathfrak{U}$, которая не содержит никакого инвариантного множества, кроме неподвижной точки $\mathfrak{a}$. Если существует такая окрестность $\mathfrak{U}$, то этим же свойством обладает и пересечение $\mathfrak{U} \cap \mathfrak{W}$ и, следовательно, можно принять $\mathfrak{U} \subset \mathfrak{W}$. Тогда, если $\mathfrak{p}$ будет какой-нибудь точкой $
eq \mathfrak{a}$ из $\mathfrak{U}$, то все образы $\mathfrak{p}_{n}$ не могут лежать в $\mathfrak{U}$, так как иначе $\mathfrak{M}=\bigcup_{n} \mathfrak{p}_{n}$ было бы инвариантным подмножеством $\mathfrak{U}$, которое содержит точку $
eq \mathfrak{a}$. Следовательно, $S$ неустойчиво. Іаоборот, если допустить, что $S$ неустойчиво, то существует такая окрестность $\mathfrak{U} \subset \mathfrak{W}$, что для каждой точки $\mathfrak{p}
eq \mathfrak{a}$ из $\mathfrak{U}$ по крайней мере один образ $\mathfrak{p}_{n}$ не лежит в $\mathfrak{U}$. Если теперь $\mathfrak{p}$ будет какой-нибудь точкой инвариантного подмножества $\mathfrak{M}=S \mathfrak{M}$ множества $\mathfrak{U}$, то все образы $\mathfrak{p}_{n}$ точки $\mathfrak{p}$ также лежат в $\mathfrak{M}$, а следовательно, и в $\mathfrak{U}$, откуда следует, что $\mathfrak{p}=\mathfrak{a}$. Поэтому доказано и это утверждение.

Следовательно, отображение $S$, не являющееся неустойчивым, обладает тем свойством, что каждая окрестность содержит инвариантное точечное множество, содержащее не только точку $\mathfrak{a}$, в то время как для устойчивости отображения $S$ каждая окрестность должна содержать даже некоторую инвариантную окрестность. Поэтому каждое устойчивое отображение необходимо является не неустойчивым, но не являющееся устойчивым отображение может и не быть неустойчивым. Отображение $S$ называется смешанным в неподвижной точке $\mathfrak{a}$, если оно там не будет ни устойчивым, ни неустойчивым. То, что смешанные отображения действительно существуют, показывает простой пример аффинного отображения $x_{1}=x+y, y_{1}=y$ в плоскости $(x, y)$, которое каждую точку оси абсцисс имеет своей неподвижной точкой. Ограниченное множество при таком отображении тогда и только тогда инвариантно, если оно лежит на оси абсцисс. Так как для произвольного $r>0$ круг $x^{2}+y^{2}<r^{2}$ не содержит инвариантной окрестности точки $(x, y)=(0,0)$, кроме инвариантного интервала $-r<x<r, y=$ $=0$, то отображение в начале координат не будет ни устойчивым, ни неустойчивым.

Перенесем также определение устойчивости и неустойчивости на систему дифференциальных уравнений
\[
\dot{x}_{k}=f_{k}(x) \quad(k=1, \ldots, m) .
\]

Пусть $x=\xi^{*}$ будет равновесным решением, для которого, следовательно, $f_{k}\left(\xi^{*}\right)=0$, и пусть в окрестности $x=\xi^{*}$ выполнены условия Липшица. Обозначим опять через $x(t, \xi)$ решение системы (1) с начальными условиями $x_{k}=\xi_{k}$ при $t=0$. Тогда переходом от $\xi$ к $x(t, \xi)$ при каждом фиксированном $t$ в окрестности неподвижной точки $x=\xi^{*}$ устанавливается топологическое отображение $S_{t}$. Мы получим определение устойчивости и неустойчивости системы (1) для рассматриваемого положения равновесия, если в данных выше определениях заменим $\mathfrak{a}, \mathfrak{p}, S^{n}$ и $\mathfrak{p}_{n}=S^{n} \mathfrak{p}(n=0, \pm 1, \ldots)$ на $\xi^{*}, \xi, S_{t}$ и $\xi_{t}=x(t, \xi)$ с действительной переменной $t$. При этом нужно, однако, потребовать, чтобы в определении фигурировали только положительные значения $t$, тогда речь будет идти только об устойчивости и неустойчивости в будущем. Это понятие имеет большое значение в задачах механики. Точно так же переносится очевидным образом и понятие смешанного случая.

Прежде чем переходить к задачам, связанным с устойчивостью дифференциальных уравнений, рассмотрим частный случай, когда $S$ будет плоским конформным отображением. Здесь уже встретятся некоторые характерные трудности, которые еще могут быть преодолены имеющимися в нашем распоряжении методами анализа. Можно без ограничения общности принять, что неподвижной точкой будет начало координат в комплексной плоскости $z$. Тогда конформное отображение будет задано степенным рядом
\[
z_{1}=f(z)=\lambda z+a_{2} z^{2}+a_{3} z^{3}+\ldots \quad(\lambda
eq 0)
\]

с комплексными коэффициентами, который сходится в окрестности точки $z=0$. Исследуем, когда отображение $S$ будет устойчивым, неустойчивым и смешанным в точке $z=0$. Сначала предположим, что $S$ устойчиво. Тогда в круге сходимости $\mathfrak{K}$ ряда (2) существует инвариантная окрестность $\mathfrak{B}=S \mathfrak{B}$, которая содержит начало координат. Она может быть несвязной, но тогда она содержит связную инвариантную окрестность. Если $\mathfrak{L}$ есть открытый круг в $\mathfrak{B}$, содержащий начало координат, то сумма множеств всех образов $S^{n} \mathfrak{L}(n=0, \pm 1, \ldots)$ обладает требуемым свойством. Поэтому $\mathfrak{B}$ можно считать связной. Наша цель заключается в том, чтобы найти инвариантную окрестность в $\mathfrak{K}$, которую можно конформно отобразить на круг единичного радиуса. Это можно сделать двумя способами. $\mathfrak{B}$ может быть не односвязной. Тогда возьмем только те точки $\mathfrak{B}$, которые лежат внутри какой-нибудь замкнутой кривой $\mathfrak{C}$, лежащей в $\mathfrak{B}$. Определенное таким образом множество $\mathfrak{U}$ опять является связной окрестностью внутри $\mathfrak{K}$, и легко видеть, что эта окрестность односвязна. Вследствие инвариантности $\mathfrak{B}$ множество $S \mathfrak{C}$ также принадлежит $\mathfrak{B}$, откуда следует инвариантность $\mathfrak{U}$. Тогда, согласно теореме Римана об отображении, множество $\mathfrak{U}$ можно соответствующим конформным преобразованием отобразить на круг $|\zeta|<\rho$, причем $z=0$ переходит в $\zeta=0$ и производная $z_{\zeta}$ равна единице в точке $\zeta=0$. Пусть
\[
z=\varphi(\zeta)=\zeta+b_{2} \zeta^{2}+\ldots \quad(|\zeta|<\rho)
\]

будет обратным конформным отображением; при этом, следовательно, ряд обязательно сходится в круге $|\zeta|<\rho$. Обозначим отображение (3) через $C$ и получим отображение $T=C^{-1} S C$. Так как область $\mathfrak{U}$ была инвариантной при $S$, то круг $|\zeta|<\rho$ при конформном отображении $T$ будет, очевидно, инвариантным, и центр этого круга $\zeta=0$ будет неподвижной точкой. Отсюда, используя известную теорему из теории функций, получим, что $T$ будет линейным отображением вида
\[
\zeta_{1}=\mu \zeta \quad(|\mu|=1),
\]
т. е. вращением около начала координат. Это заключение можно сделать и без построения множества $\mathfrak{U}$. Построим для области $\mathfrak{B}$ универсальную накрывающую поверхность $\widetilde{\mathfrak{B}}$, которая будет по своему определению односвязной. Эта поверхность имеет более одной краевой точки, так как этим свойством обладает и $\mathfrak{B}$. Тогда конформное отображение $S$ можно распространить и на $\widetilde{\mathfrak{B}}$ таким образом, чтобы было также $S \widetilde{\mathfrak{B}}=\widetilde{\mathfrak{B}}$ и чтобы неподвижная точка совпадала с точкой $z=0$ области $\mathfrak{B}$. Тогда по теореме об отображении можно опять конформно отобразить $\widetilde{\mathfrak{B}}$ на круг в плоскости $\zeta$, для чего следует сделать подстановку (3), причем $z$ теперь будет пробегать накрывающую поверхность $\widetilde{\mathfrak{B}}$, если $\zeta$ изменяется на круге $|\zeta|<\rho$. Дальнейшие выводы получаются так же, как и выше.

Соотношение $T=C^{-1} S C$ можно записать в форме $C T=S C$; оно дает с учетом уравнений $(2),(3)$ и (4) тождество $\varphi(\mu \zeta)=f[\varphi(\zeta)]$, являющееся так называемым функциональным уравнением Шрёдера [1]. Из сравнения линейных членов следует, что $\lambda=\mu$. Если обозначить два определенных выше конформных отображения через $C_{1}$ и $C_{2}$, то $C_{1}^{-1} S C_{1}=T=C_{2}^{-1} S C_{2}$, и преобразование $C_{1}^{-1} C_{2}=C_{0}$ перестановочно с $T$. Если теперь $\lambda$ не является корнем из единицы, то из равенства $C_{0} T=T C_{0}$ введением степенного ряда получим, что $C_{0}$ является тождественным преобразованием, следовательно, $C_{1}=C_{2}$. Последнее показывает также, что $\mathfrak{B}=\widetilde{\mathfrak{B}}=\mathfrak{U}$ является односвязным, но это обстоятельство в дальнейшем не используется.

Вследствие равенства (4) получим $|\lambda|=1$; это равенство является необходимым условием устойчивости $S$. Покажем теперь, что $S$ тогда и только тогда устойчиво, если $|\lambda|=1$ и если решением функционального уравнения Шрёдера
\[
\varphi(\lambda \zeta)=f[\varphi(\zeta)]
\]

является сходящийся степенной ряд $\varphi(\zeta)=\zeta+\ldots$. То, что это условие является необходимым, следует из предыдущего рассмотрения. Если, наоборот, существует сходящийся степенной ряд $\varphi(\zeta)$, являющийся решением уравнения (5), и если $|\lambda|=1$, то упомянутое отображение $z_{1}=$ $=f(z)$ сводится сходящейся подстановкой $z=\varphi(\zeta), z_{1}=\varphi\left(\zeta_{1}\right)$ к вращению $\zeta_{1}=\lambda \zeta$. Последнее же, очевидно, устойчиво, так как в качестве инвариантных окрестностей можно взять все окружности в плоскости $\zeta$ с центром в начале координат. Тогда и $S=C T C^{-1}$ устойчиво в силу сходимости $\varphi(\zeta)$ и сходимости обратного $\varphi(\zeta)$ степенного ряда в достаточно малой окрестности начала координат, следовательно, устойчиво и наше отображение. Поэтому утверждение доказано. Наименование «проблема центра» появилось вследствие того, что в случае устойчивости инвариантными окрестностями являются концентрические круги с центром в начале координат $z=0$ в плоскости $\zeta$.

Чтобы исследовать, является ли отображение $S$ устойчивым, достаточно посмотреть, возможно ли разрешить функциональное уравнение Шрёдера с помощью сходящегося степенного ряда $\varphi(\zeta)=\zeta+\ldots$. Для этого возьмем $\varphi(\zeta)$ с неопределенными коэффициентами и попробуем получить решение уравнения (5) в виде формального степенного ряда. В предположении, что $\lambda$ не есть корень из единицы, получим формальное решение сравнением коэффициентов, причем это решение назовем рядом Шрёдера. Пусть $n \geqslant 2$; предположим, что коэффициенты $b_{k}(1<k<n)$ уже определены так, что в правой и левой частях уравнения (5) равны все члены степени $k<n$. Это верно для $n=2$. Если написать уравнение (5) в виде
\[
\varphi(\lambda \zeta)-\lambda \varphi(\zeta)=f[\varphi(\zeta)]-\lambda \varphi(\zeta),
\]

то будем иметь
\[
\sum_{l=2}^{\infty}\left(\lambda^{l}-\lambda\right) b_{l} \zeta^{l}=\sum_{l=2}^{\infty} a_{l} \varphi^{i}(\zeta),
\]

и потому коэффициент при $\zeta^{n}$ в правой части будет многочленом с рациональными коэффициентами относительно $a_{l}(l=2, \ldots, n)$ и уже известных $b_{k}(k=2, \ldots, n-1)$, в то время как соответствующий коэффициент в левой части уравнения (6) равен $\left(\lambda^{n}-\lambda\right) b_{n}$. Так как $\lambda$ не равно корню из единицы и не равно нулю, то и $\lambda^{n}-\lambda
eq 0$ ( $n=$ $=2,3, \ldots$ ), поэтому $b_{n}$ определяется однозначно. Таким образом, мы последовательно получим все коэффициенты ряда Шрёдера $\varphi(\zeta)=\zeta+$ $+b_{2} \zeta^{2}+\ldots$, который формально удовлетворяет функциональному уравнению Шрёдера (5).

Прежде чем исследовать сходимость найденного ряда $\varphi(\zeta)$, рассмотрим случай, когда $\lambda$ есть корень из единицы. Пусть $\lambda^{n}=1(n>0)$, причем также допускается $n=1$. Тогда, если $S$ устойчиво, то $T=$ $=C^{-1} S C$ будет опять иметь нормальную форму $\zeta_{1}=\lambda \zeta . T^{k}=C^{-1} S^{k} C$ дает отображение $\zeta_{1}=\lambda^{k} \zeta$, следовательно, $T^{n}$ есть тождественное отображение $E$, и, следовательно, также $S^{n}=E$. Если, наоборот, $S^{n}=$ $=E$ и $\mathfrak{U}$ является окрестностью точки $z=0$, лежащей в круге сходимости $\mathfrak{K}$ функции $f(z)$, то можно выбрать какую-нибудь достаточно малую окрестность $\mathfrak{B}$ точки $z=0$, для которой $n$ образов $S^{k} \mathfrak{B}(k=$ $=0, \ldots, n-1)$ все еще лежат в $\mathfrak{U}$ Тогда вследствие $S^{n} \mathfrak{B}=\mathfrak{B}$ сумма $S^{k} \mathfrak{B}$ будет инвариантной окрестностью внутри $\mathfrak{U}$, откуда следует устойчивость $S$. Следовательно, в случае $\lambda^{n}=1(n>0)$ отображение $S$ тогда и только тогда устойчиво, если $S^{n}=E$. В качестве примера рассмотрим отображение
\[
z_{1}=\frac{z}{1-z}=z+z^{2}+\ldots, \quad \lambda=1,
\]

для которого $S^{n}$ задается в виде
\[
z_{n}=\frac{z}{1-n z} \quad(n= \pm 1, \pm 2, \ldots)
\]

и, следовательно, отлично от тождественного. Вследствие того, что $S
eq E$ и $\lambda=1$, это отображение не является устойчивым. Это можно также сразу обнаружить, положив $z=1 / n$, где натуральное число $n$ может быть сколь угодно большим. Если, с другой стороны, положить $z=i r,(0<r<1)$, то все $\left|z_{n}\right|<r$, следовательно, все образы $r$ вместе с $z$ образуют инвариантное множество, лежащее в круге $|z| \leqslant r$. Это показывает, что $S$ не является неустойчивым, значит, будет смешанным. Впрочем, неизвестно, может ли представиться случай, когда $\lambda$ является корнем из единицы и $S$ является неустойчивым. В дальнейшем мы будем предполагать $\lambda$ не равным корню из единицы.

Исследуем теперь прежде всего сходимость формально образованного ряда Шрёдера $\varphi(z)$ в случае $|\lambda|
eq 1$. Это можно легко сделать с помощью уже применявшегося метода мажорант. Вследствие сходимости ряда (2) существует такое положительное число $a$, что $\left|a_{n+1}\right|<a^{n}$ $\left(n=1,2, \ldots\right.$ ). Если вместо $z_{1}, z$ в преобразование (2) ввести $a z_{1}, a z$, то получится опять конформное отображение в форме (2) с тем же значением $\lambda$, но для которого теперь
\[
\left|a_{n+1}\right|<1 \quad(n=1,2, \ldots) .
\]

Поэтому для доказательства сходимости $\varphi(\zeta)$ можно с самого начала предположить, что неравенство (7) выполнено. Затем, вследствие $|\lambda|
eq 1$, имеем
\[
\left|\lambda^{n+1}-\lambda\right|>c>0 \quad(n=1,2, \ldots),
\]

причем $c$ есть соответствующая положительная постоянная. Теперь вследствие неравенств (7) и (8) из рекуррентного соотношения, получаемого непосредственно после уравнения (6), для определения коэффициентов $b_{n+1}$ ряда Шрёдера получается, что формальное решение $\Phi(\zeta)=\zeta+c_{2} \zeta^{2}+\ldots$ функционального уравнения
\[
c(\Phi-\zeta)=\sum_{l=2}^{\infty} \Phi^{l}
\]

есть мажоранта для $\varphi(\zeta)$. Но обращение сходящегося при $|\Phi|<1$ ряда
\[
\zeta=\Phi-c^{-1} \sum_{l=2}^{\infty} \Phi^{l}
\]

дает ряд, сходящийся в окрестности $\zeta=0$. Этим доказательство сходимости закончено. Подобно тому: как это было сделано в $\S 15$, здесь также можно дать оценку радиуса сходимости. Мы уже знаем, что вследствие $|\lambda|
eq 1$ отображение $S$ не является устойчивым. Вследствие доказанной таким образом сходимости $C$ мы можем здесь также образовать нормальную форму $C^{-1} S C=T$. Можно даже сразу показать, что отображение $\zeta_{1}=\lambda \zeta$ будет неустойчивым. Если рассмотреть точку $\zeta
eq 0$ какой-нибудь ограниченной окрестности $\mathfrak{U}$ точки $\zeta=0$, то $\zeta_{n}=\lambda^{n} \zeta$ вследствие $|\lambda|
eq 1$ не будет лежать в $\mathfrak{U}$ для достаточно больших положительных или отрицательных $n$. Из неустойчивости $T$ следует неустойчивость $S=C T C^{-1}$. Поэтому для $|\lambda|
eq 1$ отображение $S$ необходимо неустойчиво. Это же можно показать непосредственно, без использования нормальной формы $T$.

Для дальнейшего рассмотрения можно ограничиться случаем, когда $\lambda$ по абсолютной величине равно единице, но не является корнем из единицы. В этом случае для исследования сходимости ряда Шрёдера требуются весьма тонкие оценки, к которым мы и переходим. Прежде всего покажем, что те значения $\lambda$, для которых при соответствующем выборе сходящегося ряда $f(z)=\lambda z+\ldots$ ряд Шрёдера $\varphi(\zeta)$ расходится, лежат даже всюду плотно на окружности $|\lambda|=1$ [2]. Для доказательства достаточно взять степенной ряд $f(z)$, все коэффициенты которого $a_{n}(n=2,3, \ldots)$ равны $\pm \frac{1}{n !}$, причем выбор знака определяется рекуррентным образом. Тогда, в частности, $f(z)$ обязательно сходится. Вернемся еще раз к определению $b_{n}$ из уравнения (6). Там при сравнении коэффициентов получается выражение ( $\left.\lambda^{n}-\lambda\right) b_{n}-a_{n}$ для каждого $n>1$ как многочлен относительно $a_{k}, b_{k}$ при $1<k<n$. Поэтому соответствующим выбором $a_{n}= \pm \frac{1}{n !}$ можно, очевидно, получить, что
\[
\left|b_{n}\right| \geqslant \frac{1}{n !}\left|\lambda^{n}-\lambda\right|^{-1}=\frac{1}{n !}\left|\lambda^{n-1}-1\right|^{-1} \quad(n=2,3, \ldots) .
\]

Пусть теперь при соответствующем выборе $\lambda$ неравенство
\[
\left|\lambda^{n}-1\right|<(n !)^{-2}
\]

выполнено для бесконечного количества натуральных чисел $n$, и пусть $f(z)$ является степенным рядом, коэффициенты которого $a_{2}, a_{3}, \ldots$ определены заданным выше способом. Тогда, с одной стороны, этот ряд сходится для любого $z$, а, с другой стороны, соответствующий ряд Шрёдера $\varphi(\zeta)$ для каждого $\zeta
eq 0$ расходится, так как в силу неравенств (10) и (11) общий член $b_{n} \zeta^{n}$ даже не стремится к нулю. Тогда отображение $z_{1}=f(z)=\lambda z+\ldots$ не будет устойчивым. Но неизвестно, что именно имеет место – смешанный случай или неустойчивость.

Теперь покажем еще, что на окружности единичного радиуса существует плотное множество значений $\lambda$, которое не содержит точку $\pm 1$ и на котором неравенство (11) выполнено для бесконечно многих $n$. Если мы положим $\lambda=e^{2 \pi i \alpha}(0 \leqslant \alpha<1)$ и выберем для каждого натурального $n$ целое число $m$, соответствуюшее условию
\[
-\frac{1}{2} \leqslant n \alpha-m<\frac{1}{2}
\]

то
\[
\left|\lambda^{n}-1\right|=\left|e^{2 \pi i n \alpha}-1\right|=\left|e^{\pi i n \alpha}-e^{-\pi i n \alpha}\right|=2|\sin (\pi n \alpha)|=2 \sin (\pi|n \alpha-m|) .
\]

Тогда вследствие $|n \alpha-m|=\vartheta \leqslant \frac{1}{2}$ получаем неравенства $2 \vartheta \leqslant \sin \pi \vartheta \leqslant$ $\leqslant \pi \vartheta$ и
\[
4 \vartheta \leqslant\left|\lambda^{n}-1\right| \leqslant 2 \pi \vartheta \leqslant 7 \vartheta .
\]

Поэтому достаточно построить в интервале $0 \leqslant \alpha<1$ всюду плотное множество иррациональных чисел $\alpha$, для которых неравенства
\[
|n \alpha-m|<\frac{1}{7(n !)^{2}}, \quad n>0
\]

имеют бесконечно много целых решений $n$ и $m$. Это удается сделать с помощью представления действительных чисел непрерывными дробями. Известно, что для каждого иррационального числа $\alpha$ из интервала $0<\alpha<1$ существует такая последовательность натуральных чисел $r_{1}$, $r_{2}, \ldots$, что последовательность дробей $\frac{p_{k}}{q_{k}}(k=0,1, \ldots)$, образованная по правилам
\[
\left.\begin{array}{l}
p_{0}=0, \quad q_{0}=1, \quad p_{1}=1, \quad q_{1}=r_{1}, \\
p_{k}=r_{k} p_{k-1}+p_{k-2}, \quad q_{k}=r_{k} q_{k-1}+q_{k-2} \quad(k=2,3, \ldots),
\end{array}\right\}
\]

стремится к $\alpha$. При этом, разумеется, числа $r_{1}, r_{2}, \ldots$ определяются величиной $\alpha$ однозначно и называются неполными частными $\alpha$. Тогда из теории непрерывных дробей следует неравенство
\[
\left|q_{k} \alpha-p_{k}\right|<\frac{1}{q_{k+1}}<\frac{1}{r_{k+1} q_{k}} \leqslant \frac{1}{r_{k+1}} \quad(k=1,2, \ldots) .
\]

Наоборот, каждой заданной последовательности $r_{1}, r_{2}, \ldots$ соответствует опять иррациональное число $\alpha$ из интервала $0<\alpha<1$ с заданными неполными частными этой непрерывной дроби.

Пусть теперь в интервале $0<\beta<1$ задано произвольное иррациональное число $\beta$ и пусть $s_{1}, s_{2}, \ldots$ будут неполными частными его разложения в непрерывную дробь. Пусть далее $l$ есть какое-нибудь фиксированное натуральное число; определим
\[
r_{k}=s_{k} \quad(0<k \leqslant l), \quad r_{k+1}=7\left(q_{k} !\right)^{2} \quad(k \geqslant l),
\]

причем $q_{0}, q_{1}, \ldots, q_{k}$ опять можно последовательно найти из уравнений (15). Тогда для непрерывной дроби $\alpha$ с неполными частными $r_{1}$, $r_{2}, \ldots$ справедливо неравенство (16). Так как первые $l$ неполных частных непрерывных дробей $\alpha$ и $\beta$ совпадают, то и $\left|q_{l} \beta-p_{l}\right|<q_{l}^{-1}$. Отсюда следует
\[
|\alpha-\beta| \leqslant\left|\alpha-\frac{p_{l}}{q_{l}}\right|+\left|\beta-\frac{p_{l}}{q_{l}}\right|<2 q_{l}^{-2} \leqslant 2 l^{-2} ;
\]

с другой стороны, в силу соотношений (16) и (17) требование (14) выполнено для бесконечно многих пар $n=q_{k}, m=p_{k}(k=l, l+1, \ldots)$. Так как $l$ можно выбрать произвольно большим, то построенные числа $\alpha=\alpha_{l}$ имеют предел $\beta$ и так как $\beta$ произвольно, то множество встречающихся $\alpha$ всюду плотно в единичном интервале.

Пусть $\Lambda$ есть множество значений $\lambda=e^{2 \pi i \alpha}$ на окружности единичного радиуса, для которого решение функционального уравнения Шрёдера $\varphi(\zeta)=\zeta+b_{2} \zeta^{2}+\ldots$ обязательно сходится в окрестности $\zeta=0$, и притом для любого заданного в окрестности $z=0$ сходящегося ряда $f(z)=\lambda z+a_{2} z^{2}+\ldots$ Нужно теперь показать, что $\Lambda$ имеет на единичной окружности линейную меру Лебега $2 \pi$ и, следовательно, множество $A$ соответствующих $\alpha$ имеет на единичном интервале $0 \leqslant \alpha<1$ меру Лебега, равную единице. Множество действительных иррациональных чисел $\alpha$, для которых по крайней мере один сходящийся ряд $f(z)$ с первым коэффициентом $\lambda=e^{2 \pi i \alpha}$ приводит к расходящемуся ряду Шрёдера $\varphi(\zeta)$, имеет поэтому меру нуль. В частности, можно сказать, что вообще отображение $S$ устойчиво, если только выполнено необходимое условие $|\lambda|=1$.

Рассмотрим для заданных положительных чисел $\varepsilon, \mu$ множество $B(\varepsilon, \mu)$ всех чисел $\alpha$ единичного интервала $E$, для которых неравенства
\[
|n \alpha-m|<\varepsilon n^{-\mu}, \quad n>0
\]

имеют по меньшей мере одно целочисленное решение $n, m$. Очевидно,
\[
B\left(\varepsilon^{\prime}, \mu^{\prime}\right) \subset B(\varepsilon, \mu) \quad\left(\varepsilon^{\prime} \leqslant \varepsilon, \mu \leqslant \mu^{\prime}\right) .
\]

Пусть $k$ пробегает все натуральные числа; образуем пересечение
\[
B=\bigcap_{k} B\left(k^{-1}, 2\right)
\]

всех $B\left(k^{-1}, 2\right)$; тогда
\[
B \subset B(\varepsilon, 2)
\]

для каждого $\varepsilon$. Обозначим меру Лебега измеримого множества $\Gamma$ через $m(\Gamma)$ и оценим сверху меру $B(\varepsilon, 2)$. Это множество измеримо, так как оно в соответствии с неравенством (18) состоит из соединения суммы счетного числа интервалов, а тогда вследствие равенства (19) $B$ также измеримо. Для каждого решения $n, m$ неравенства (18) справедливо неравенство
\[
-\varepsilon<m<n+\varepsilon,
\]

если $\alpha$ лежит в $E$, и, с другой стороны, длина интервалов для $\alpha$, определенных неравенством (18) при заданных $n$ и $m$, равна $2 \varepsilon n^{-\mu-1}$. Для любого фиксированного натурального числа $n$ величина $m$, удовлетворяющая неравенству (21), меньше, чем $n+2 \varepsilon+1$. При использовании соотношения (20) получим
\[
\begin{array}{c}
m[B(\varepsilon, 2)] \leqslant \sum_{n=1}^{\infty} 2 \varepsilon(n+2 \varepsilon+1) n^{-3}<4 \varepsilon(\varepsilon+1) \sum_{n=1}^{\infty} n^{-2}, \\
m(B)<\frac{2 \pi^{2}}{3} \varepsilon(\varepsilon+1),
\end{array}
\]

следовательно, $m(B)=0$, так как $\varepsilon$ может быть произвольно мало. Если через $\Delta$ обозначить множество всех $\alpha$ в $E$, для которых неравенство (18) имеет решение для каждого выбора $\varepsilon, \mu$, то вследствие соотношения (19) множество $\Delta$ должно содержаться в $B$, поэтому тем более $m(\Delta)=0$. Тогда для дополнительного множества $\Gamma=E-\Delta$ $m(\Gamma)=1$, и $\Gamma$ характеризуется тем, что для каждого числа $\alpha$ из $\Gamma$ существуют два таких положительных числа $\varepsilon, \mu$, что для каждого натурального $n$ и целого $m$ всегда
\[
|n \alpha-m|>\varepsilon n^{-\mu} .
\]

В следующем параграфе будет показано, что для всех $\alpha$ из Г при произвольном выборе сходящегося ряда $f(z)=\lambda z+\ldots$, где $\lambda=e^{2 \pi i \alpha}$, соответствующий ряд Шрёдера также сходится [3]. Но тогда по определению $A \supset \Gamma$, следовательно, справедливо равенство $m(A)=1$, а это и было нашим утверждением.