Начнем с определения понятия устойчивости и неустойчивости. Пусть задано топологическое пространство $\mathfrak{R}$, точки которого обозначим через $\mathfrak{p}$, и пусть $\mathfrak{a}$ есть фиксированная точка пространства $\mathfrak{R}$. Под окрестностями в дальнейшем будем понимать только окрестности точки $\mathfrak{a}$ в пространстве $\mathfrak{R}$. Пусть ${\mathfrak{p}}_1=S\mathfrak{p}$ топологическое отображение окрестности ${\mathfrak{U}}_1$ на окрестность ${\mathfrak{B}}_1$, причем точка $\mathfrak{a}=S\mathfrak{a}$ отображается сама в себя. Обратное преобразование ${\mathfrak{p}}_{-1}=S^{-1}\mathfrak{p}$ переводит ${\mathfrak{B}}_1$ в ${\mathfrak{U}}_1$, и вообще ${\mathfrak{p}}_n=S^n\mathfrak{p}(n=0,\pm 1,\pm 2,\dots )$ будет топологическим отображением окрестности ${\mathfrak{U}}_n$ на окрестность ${\mathfrak{B}}_n$, которое имеет $\mathfrak{a}$ неподвижной точкой. Для каждой точки $\mathfrak{p}-{\mathfrak{p}}_0$ пересечения ${\mathfrak{U}}_1\cap {\mathfrak{B}}_1-\mathfrak{W}$ найдем последовательно образы ${\mathfrak{p}}_{k+1}=S{\mathfrak{p}}_k(k=0,1,\dots )$, пока ${\mathfrak{p}}_k$ находится в ${\mathfrak{U}}_1$, и равным образом ${\mathfrak{p}}_{-k-1}=S^{-1}{\mathfrak{p}}_k$, пока ${\mathfrak{p}}_{-k}$ лежит в ${\mathfrak{B}}_1$. Всегда существует максимальное число $k+1=n$, такое, что все ${\mathfrak{p}}_0,\dots ,{\mathfrak{p}}_{n-1}$ еще лежат в ${\mathfrak{U}}_1$, но ${\mathfrak{p}}_n$ там уже не лежит; аналогичное утверждение справедливо для отрицательных индексов. При этом для каждого $\mathfrak{p}$ из $\mathfrak{W}$ имеется или конечная, или бесконечная в одну сторону, или бесконечная в обе стороны последовательность образов ${\mathfrak{p}}_k=\dots ,{\mathfrak{p}}_{-1},{\mathfrak{p}}_0,{\mathfrak{p}}_1,\dots$, причем индекс $k$ последовательно пробегает целые числа.

Назовем отображение $S$ устойчивым в неподвижной точке $\mathfrak{a}$, если для каждой окрестности $\mathfrak{U}\subset \mathfrak{B}$ существует такая ее часть $\mathfrak{B}\subset \mathfrak{U}$, для которой все образы $S^n\mathfrak{B}(n=\pm 1,\pm 2,\dots )$ лежат в $\mathfrak{U}$. Неустойчивость определим не просто как логическую противоположность устойчивости, но с помощью более сильного требования, а именно следующим образом. Отображение $S$ называется неустойчивым в неподвижной точке $\mathfrak{a}$, если существует такая окрестность $\mathfrak{U}\subset \mathfrak{W}$, что для каждой точки $\mathfrak{p}eq\mathfrak{a}$ из $\mathfrak{U}$ по крайней мере один образ ${\mathfrak{p}}_n$ лежит вне $\mathfrak{U}$.

Эти определения можно также сформулировать иначе. Точечное множество $\mathfrak{M}\subset \mathfrak{W}$ называется при отображении $S$ инвариантным, если $\mathfrak{M}=S\mathfrak{M}$. Само собой разумеется, что неподвижная точка $\mathfrak{a}$ является инвариантным точечным множеством. Покажем теперь, что $S$ тогда и только тогда устойчиво, если в каждой окрестности $\mathfrak{U}$ содержится инвариантная окрестность $\mathfrak{B}$. Если для каждой окрестности $\mathfrak{U}$ существует окрестность $\mathfrak{B}=S\mathfrak{B}\subset \mathfrak{U}$, то $\mathfrak{B}$ обладает, очевидно, по определению, свойством устойчивости; тогда, следовательно, $S$ устойчиво. Наоборот, если $S$ предположить устойчивым, то для каждой окрестности $\mathfrak{U}\subset \mathfrak{W}$ существует окрестность $\mathfrak{Q}\subset \mathfrak{U}$, для которой $S^n\mathfrak{Q}\subset \mathfrak{U}$ $(n=0,\pm 1,\pm 2\dots )$. Тогда сумма $\mathfrak{B}=\bigcup _n{S}^n\mathfrak{Q}$ всех множеств $S^n\mathfrak{Q}$ будет при $S$ инвариантной и будет являться той окрестностью, существование которой требуется доказать. Соответственно покажем, что $S$ тогда и только тогда неустойчиво, если существует окрестность $\mathfrak{U}$, которая не содержит никакого инвариантного множества, кроме неподвижной точки $\mathfrak{a}$. Если существует такая окрестность $\mathfrak{U}$, то этим же свойством обладает и пересечение $\mathfrak{U}\cap \mathfrak{W}$ и, следовательно, можно принять $\mathfrak{U}\subset \mathfrak{W}$. Тогда, если $\mathfrak{p}$ будет какой-нибудь точкой $eq\mathfrak{a}$ из $\mathfrak{U}$, то все образы ${\mathfrak{p}}_n$ не могут лежать в $\mathfrak{U}$, так как иначе $\mathfrak{M}=\bigcup _n{\mathfrak{p}}_n$ было бы инвариантным подмножеством $\mathfrak{U}$, которое содержит точку $eq\mathfrak{a}$. Следовательно, $S$ неустойчиво. Іаоборот, если допустить, что $S$ неустойчиво, то существует такая окрестность $\mathfrak{U}\subset \mathfrak{W}$, что для каждой точки $\mathfrak{p}eq\mathfrak{a}$ из $\mathfrak{U}$ по крайней мере один образ ${\mathfrak{p}}_n$ не лежит в $\mathfrak{U}$. Если теперь $\mathfrak{p}$ будет какой-нибудь точкой инвариантного подмножества $\mathfrak{M}=S\mathfrak{M}$ множества $\mathfrak{U}$, то все образы ${\mathfrak{p}}_n$ точки $\mathfrak{p}$ также лежат в $\mathfrak{M}$, а следовательно, и в $\mathfrak{U}$, откуда следует, что $\mathfrak{p}=\mathfrak{a}$. Поэтому доказано и это утверждение.

Следовательно, отображение $S$, не являющееся неустойчивым, обладает тем свойством, что каждая окрестность содержит инвариантное точечное множество, содержащее не только точку $\mathfrak{a}$, в то время как для устойчивости отображения $S$ каждая окрестность должна содержать даже некоторую инвариантную окрестность. Поэтому каждое устойчивое отображение необходимо является не неустойчивым, но не являющееся устойчивым отображение может и не быть неустойчивым. Отображение $S$ называется смешанным в неподвижной точке $\mathfrak{a}$, если оно там не будет ни устойчивым, ни неустойчивым. То, что смешанные отображения действительно существуют, показывает простой пример аффинного отображения $x_1=x+y,y_1=y$ в плоскости $(x,y)$, которое каждую точку оси абсцисс имеет своей неподвижной точкой. Ограниченное множество при таком отображении тогда и только тогда инвариантно, если оно лежит на оси абсцисс. Так как для произвольного $r>0$ круг $x^2+y^2<r^2$ не содержит инвариантной окрестности точки $(x,y)=(0,0)$, кроме инвариантного интервала $-r<x<r,y=$ $=0$, то отображение в начале координат не будет ни устойчивым, ни неустойчивым.

Перенесем также определение устойчивости и неустойчивости на систему дифференциальных уравнений
$${\dot{x}}_k=f_k(x)(k=1,\dots ,m).$$

Пусть $x={\xi }^{\ast }$ будет равновесным решением, для которого, следовательно, $f_k\left({\xi }^{\ast }\right)=0$, и пусть в окрестности $x={\xi }^{\ast }$ выполнены условия Липшица. Обозначим опять через $x(t,\xi )$ решение системы (1) с начальными условиями $x_k={\xi }_k$ при $t=0$. Тогда переходом от $\xi$ к $x(t,\xi )$ при каждом фиксированном $t$ в окрестности неподвижной точки $x={\xi }^{\ast }$ устанавливается топологическое отображение $S_t$. Мы получим определение устойчивости и неустойчивости системы (1) для рассматриваемого положения равновесия, если в данных выше определениях заменим $\mathfrak{a},\mathfrak{p},S^n$ и ${\mathfrak{p}}_n=S^n\mathfrak{p}(n=0,\pm 1,\dots )$ на ${\xi }^{\ast },\xi ,S_t$ и ${\xi }_t=x(t,\xi )$ с действительной переменной $t$. При этом нужно, однако, потребовать, чтобы в определении фигурировали только положительные значения $t$, тогда речь будет идти только об устойчивости и неустойчивости в будущем. Это понятие имеет большое значение в задачах механики. Точно так же переносится очевидным образом и понятие смешанного случая.

Прежде чем переходить к задачам, связанным с устойчивостью дифференциальных уравнений, рассмотрим частный случай, когда $S$ будет плоским конформным отображением. Здесь уже встретятся некоторые характерные трудности, которые еще могут быть преодолены имеющимися в нашем распоряжении методами анализа. Можно без ограничения общности принять, что неподвижной точкой будет начало координат в комплексной плоскости $z$. Тогда конформное отображение будет задано степенным рядом
$$z_1=f(z)=\lambda z+a_2{z}^2+a_3{z}^3+\dots (\lambda eq0)$$

с комплексными коэффициентами, который сходится в окрестности точки $z=0$. Исследуем, когда отображение $S$ будет устойчивым, неустойчивым и смешанным в точке $z=0$. Сначала предположим, что $S$ устойчиво. Тогда в круге сходимости $\mathfrak{K}$ ряда (2) существует инвариантная окрестность $\mathfrak{B}=S\mathfrak{B}$, которая содержит начало координат. Она может быть несвязной, но тогда она содержит связную инвариантную окрестность. Если $\mathfrak{L}$ есть открытый круг в $\mathfrak{B}$, содержащий начало координат, то сумма множеств всех образов $S^n\mathfrak{L}(n=0,\pm 1,\dots )$ обладает требуемым свойством. Поэтому $\mathfrak{B}$ можно считать связной. Наша цель заключается в том, чтобы найти инвариантную окрестность в $\mathfrak{K}$, которую можно конформно отобразить на круг единичного радиуса. Это можно сделать двумя способами. $\mathfrak{B}$ может быть не односвязной. Тогда возьмем только те точки $\mathfrak{B}$, которые лежат внутри какой-нибудь замкнутой кривой $\mathfrak{C}$, лежащей в $\mathfrak{B}$. Определенное таким образом множество $\mathfrak{U}$ опять является связной окрестностью внутри $\mathfrak{K}$, и легко видеть, что эта окрестность односвязна. Вследствие инвариантности $\mathfrak{B}$ множество $S\mathfrak{C}$ также принадлежит $\mathfrak{B}$, откуда следует инвариантность $\mathfrak{U}$. Тогда, согласно теореме Римана об отображении, множество $\mathfrak{U}$ можно соответствующим конформным преобразованием отобразить на круг $|\zeta |<\rho$, причем $z=0$ переходит в $\zeta =0$ и производная $z_{\zeta }$ равна единице в точке $\zeta =0$. Пусть
$$z=\phi (\zeta )=\zeta +b_2{\zeta }^2+\dots (|\zeta |<\rho )$$

будет обратным конформным отображением; при этом, следовательно, ряд обязательно сходится в круге $|\zeta |<\rho$. Обозначим отображение (3) через $C$ и получим отображение $T=C^{-1}SC$. Так как область $\mathfrak{U}$ была инвариантной при $S$, то круг $|\zeta |<\rho$ при конформном отображении $T$ будет, очевидно, инвариантным, и центр этого круга $\zeta =0$ будет неподвижной точкой. Отсюда, используя известную теорему из теории функций, получим, что $T$ будет линейным отображением вида
$${\zeta }_1=\mu \zeta (|\mu |=1),$$
т. е. вращением около начала координат. Это заключение можно сделать и без построения множества $\mathfrak{U}$. Построим для области $\mathfrak{B}$ универсальную накрывающую поверхность $\tilde{\mathfrak{B}}$, которая будет по своему определению односвязной. Эта поверхность имеет более одной краевой точки, так как этим свойством обладает и $\mathfrak{B}$. Тогда конформное отображение $S$ можно распространить и на $\tilde{\mathfrak{B}}$ таким образом, чтобы было также $S\tilde{\mathfrak{B}}=\tilde{\mathfrak{B}}$ и чтобы неподвижная точка совпадала с точкой $z=0$ области $\mathfrak{B}$. Тогда по теореме об отображении можно опять конформно отобразить $\tilde{\mathfrak{B}}$ на круг в плоскости $\zeta$, для чего следует сделать подстановку (3), причем $z$ теперь будет пробегать накрывающую поверхность $\tilde{\mathfrak{B}}$, если $\zeta$ изменяется на круге $|\zeta |<\rho$. Дальнейшие выводы получаются так же, как и выше.

Соотношение $T=C^{-1}SC$ можно записать в форме $CT=SC$; оно дает с учетом уравнений $(2),(3)$ и (4) тождество $\phi (\mu \zeta )=f[\phi (\zeta )]$, являющееся так называемым функциональным уравнением Шрёдера [1]. Из сравнения линейных членов следует, что $\lambda =\mu$. Если обозначить два определенных выше конформных отображения через $C_1$ и $C_2$, то $C_1^{-1}S{C}_1=T=C_2^{-1}S{C}_2$, и преобразование $C_1^{-1}{C}_2=C_0$ перестановочно с $T$. Если теперь $\lambda$ не является корнем из единицы, то из равенства $C_{0}T=T{C}_0$ введением степенного ряда получим, что $C_0$ является тождественным преобразованием, следовательно, $C_1=C_2$. Последнее показывает также, что $\mathfrak{B}=\tilde{\mathfrak{B}}=\mathfrak{U}$ является односвязным, но это обстоятельство в дальнейшем не используется.

Вследствие равенства (4) получим $|\lambda |=1$; это равенство является необходимым условием устойчивости $S$. Покажем теперь, что $S$ тогда и только тогда устойчиво, если $|\lambda |=1$ и если решением функционального уравнения Шрёдера
$$\phi (\lambda \zeta )=f[\phi (\zeta )]$$

является сходящийся степенной ряд $\phi (\zeta )=\zeta +\dots$. То, что это условие является необходимым, следует из предыдущего рассмотрения. Если, наоборот, существует сходящийся степенной ряд $\phi (\zeta )$, являющийся решением уравнения (5), и если $|\lambda |=1$, то упомянутое отображение $z_1=$ $=f(z)$ сводится сходящейся подстановкой $z=\phi (\zeta ),z_1=\phi \left({\zeta }_1\right)$ к вращению ${\zeta }_1=\lambda \zeta$. Последнее же, очевидно, устойчиво, так как в качестве инвариантных окрестностей можно взять все окружности в плоскости $\zeta$ с центром в начале координат. Тогда и $S=CT{C}^{-1}$ устойчиво в силу сходимости $\phi (\zeta )$ и сходимости обратного $\phi (\zeta )$ степенного ряда в достаточно малой окрестности начала координат, следовательно, устойчиво и наше отображение. Поэтому утверждение доказано. Наименование «проблема центра» появилось вследствие того, что в случае устойчивости инвариантными окрестностями являются концентрические круги с центром в начале координат $z=0$ в плоскости $\zeta$.

Чтобы исследовать, является ли отображение $S$ устойчивым, достаточно посмотреть, возможно ли разрешить функциональное уравнение Шрёдера с помощью сходящегося степенного ряда $\phi (\zeta )=\zeta +\dots$. Для этого возьмем $\phi (\zeta )$ с неопределенными коэффициентами и попробуем получить решение уравнения (5) в виде формального степенного ряда. В предположении, что $\lambda$ не есть корень из единицы, получим формальное решение сравнением коэффициентов, причем это решение назовем рядом Шрёдера. Пусть $n⩾2$; предположим, что коэффициенты $b_k(1<k<n)$ уже определены так, что в правой и левой частях уравнения (5) равны все члены степени $k<n$. Это верно для $n=2$. Если написать уравнение (5) в виде
$$\phi (\lambda \zeta )-\lambda \phi (\zeta )=f[\phi (\zeta )]-\lambda \phi (\zeta ),$$

то будем иметь
$$\sum _{l=2}^{\mathrm{\infty }}({\lambda }^l-\lambda )b_l{\zeta }^l=\sum _{l=2}^{\mathrm{\infty }}{a}_l{\phi }^i(\zeta ),$$

и потому коэффициент при ${\zeta }^n$ в правой части будет многочленом с рациональными коэффициентами относительно $a_l(l=2,\dots ,n)$ и уже известных $b_k(k=2,\dots ,n-1)$, в то время как соответствующий коэффициент в левой части уравнения (6) равен $({\lambda }^n-\lambda )b_n$. Так как $\lambda$ не равно корню из единицы и не равно нулю, то и ${\lambda }^n-\lambda eq0$ ( $n=$ $=2,3,\dots$ ), поэтому $b_n$ определяется однозначно. Таким образом, мы последовательно получим все коэффициенты ряда Шрёдера $\phi (\zeta )=\zeta +$ $+b_2{\zeta }^2+\dots$, который формально удовлетворяет функциональному уравнению Шрёдера (5).

Прежде чем исследовать сходимость найденного ряда $\phi (\zeta )$, рассмотрим случай, когда $\lambda$ есть корень из единицы. Пусть ${\lambda }^n=1(n>0)$, причем также допускается $n=1$. Тогда, если $S$ устойчиво, то $T=$ $=C^{-1}SC$ будет опять иметь нормальную форму ${\zeta }_1=\lambda \zeta .T^k=C^{-1}{S}^{k}C$ дает отображение ${\zeta }_1={\lambda }^k\zeta$, следовательно, $T^n$ есть тождественное отображение $E$, и, следовательно, также $S^n=E$. Если, наоборот, $S^n=$ $=E$ и $\mathfrak{U}$ является окрестностью точки $z=0$, лежащей в круге сходимости $\mathfrak{K}$ функции $f(z)$, то можно выбрать какую-нибудь достаточно малую окрестность $\mathfrak{B}$ точки $z=0$, для которой $n$ образов $S^k\mathfrak{B}(k=$ $=0,\dots ,n-1)$ все еще лежат в $\mathfrak{U}$ Тогда вследствие $S^n\mathfrak{B}=\mathfrak{B}$ сумма $S^k\mathfrak{B}$ будет инвариантной окрестностью внутри $\mathfrak{U}$, откуда следует устойчивость $S$. Следовательно, в случае ${\lambda }^n=1(n>0)$ отображение $S$ тогда и только тогда устойчиво, если $S^n=E$. В качестве примера рассмотрим отображение
$$z_1=\frac{z}{1-z}=z+z^2+\dots ,\lambda =1,$$

для которого $S^n$ задается в виде
$$z_n=\frac{z}{1-nz}(n=\pm 1,\pm 2,\dots )$$

и, следовательно, отлично от тождественного. Вследствие того, что $SeqE$ и $\lambda =1$, это отображение не является устойчивым. Это можно также сразу обнаружить, положив $z=1/n$, где натуральное число $n$ может быть сколь угодно большим. Если, с другой стороны, положить $z=ir,(0<r<1)$, то все $\left|z_n\right|<r$, следовательно, все образы $r$ вместе с $z$ образуют инвариантное множество, лежащее в круге $|z|⩽r$. Это показывает, что $S$ не является неустойчивым, значит, будет смешанным. Впрочем, неизвестно, может ли представиться случай, когда $\lambda$ является корнем из единицы и $S$ является неустойчивым. В дальнейшем мы будем предполагать $\lambda$ не равным корню из единицы.

Исследуем теперь прежде всего сходимость формально образованного ряда Шрёдера $\phi (z)$ в случае $|\lambda |eq1$. Это можно легко сделать с помощью уже применявшегося метода мажорант. Вследствие сходимости ряда (2) существует такое положительное число $a$, что $\left|a_{n+1}\right|<a^n$ $(n=1,2,\dots$ ). Если вместо $z_1,z$ в преобразование (2) ввести $a{z}_1,az$, то получится опять конформное отображение в форме (2) с тем же значением $\lambda$, но для которого теперь
$$\left|a_{n+1}\right|<1(n=1,2,\dots ).$$

Поэтому для доказательства сходимости $\phi (\zeta )$ можно с самого начала предположить, что неравенство (7) выполнено. Затем, вследствие $|\lambda |eq1$, имеем
$$|{\lambda }^{n+1}-\lambda |>c>0(n=1,2,\dots ),$$

причем $c$ есть соответствующая положительная постоянная. Теперь вследствие неравенств (7) и (8) из рекуррентного соотношения, получаемого непосредственно после уравнения (6), для определения коэффициентов $b_{n+1}$ ряда Шрёдера получается, что формальное решение $\mathrm{\Phi }(\zeta )=\zeta +c_2{\zeta }^2+\dots$ функционального уравнения
$$c(\mathrm{\Phi }-\zeta )=\sum _{l=2}^{\mathrm{\infty }}{\mathrm{\Phi }}^l$$

есть мажоранта для $\phi (\zeta )$. Но обращение сходящегося при $|\mathrm{\Phi }|<1$ ряда
$$\zeta =\mathrm{\Phi }-c^{-1}\sum _{l=2}^{\mathrm{\infty }}{\mathrm{\Phi }}^l$$

дает ряд, сходящийся в окрестности $\zeta =0$. Этим доказательство сходимости закончено. Подобно тому: как это было сделано в $\mathrm{\S }15$, здесь также можно дать оценку радиуса сходимости. Мы уже знаем, что вследствие $|\lambda |eq1$ отображение $S$ не является устойчивым. Вследствие доказанной таким образом сходимости $C$ мы можем здесь также образовать нормальную форму $C^{-1}SC=T$. Можно даже сразу показать, что отображение ${\zeta }_1=\lambda \zeta$ будет неустойчивым. Если рассмотреть точку $\zeta eq0$ какой-нибудь ограниченной окрестности $\mathfrak{U}$ точки $\zeta =0$, то ${\zeta }_n={\lambda }^n\zeta$ вследствие $|\lambda |eq1$ не будет лежать в $\mathfrak{U}$ для достаточно больших положительных или отрицательных $n$. Из неустойчивости $T$ следует неустойчивость $S=CT{C}^{-1}$. Поэтому для $|\lambda |eq1$ отображение $S$ необходимо неустойчиво. Это же можно показать непосредственно, без использования нормальной формы $T$.

Для дальнейшего рассмотрения можно ограничиться случаем, когда $\lambda$ по абсолютной величине равно единице, но не является корнем из единицы. В этом случае для исследования сходимости ряда Шрёдера требуются весьма тонкие оценки, к которым мы и переходим. Прежде всего покажем, что те значения $\lambda$, для которых при соответствующем выборе сходящегося ряда $f(z)=\lambda z+\dots$ ряд Шрёдера $\phi (\zeta )$ расходится, лежат даже всюду плотно на окружности $|\lambda |=1$ [2]. Для доказательства достаточно взять степенной ряд $f(z)$, все коэффициенты которого $a_n(n=2,3,\dots )$ равны $\pm \frac{1}{n!}$, причем выбор знака определяется рекуррентным образом. Тогда, в частности, $f(z)$ обязательно сходится. Вернемся еще раз к определению $b_n$ из уравнения (6). Там при сравнении коэффициентов получается выражение ( ${\lambda }^n-\lambda )b_n-a_n$ для каждого $n>1$ как многочлен относительно $a_k,b_k$ при $1<k<n$. Поэтому соответствующим выбором $a_n=\pm \frac{1}{n!}$ можно, очевидно, получить, что
$$\left|b_n\right|⩾\frac{1}{n!}{|{\lambda }^n-\lambda |}^{-1}=\frac{1}{n!}{|{\lambda }^{n-1}-1|}^{-1}(n=2,3,\dots ).$$

Пусть теперь при соответствующем выборе $\lambda$ неравенство
$$|{\lambda }^n-1|<(n!{)}^{-2}$$

выполнено для бесконечного количества натуральных чисел $n$, и пусть $f(z)$ является степенным рядом, коэффициенты которого $a_2,a_3,\dots$ определены заданным выше способом. Тогда, с одной стороны, этот ряд сходится для любого $z$, а, с другой стороны, соответствующий ряд Шрёдера $\phi (\zeta )$ для каждого $\zeta eq0$ расходится, так как в силу неравенств (10) и (11) общий член $b_n{\zeta }^n$ даже не стремится к нулю. Тогда отображение $z_1=f(z)=\lambda z+\dots$ не будет устойчивым. Но неизвестно, что именно имеет место — смешанный случай или неустойчивость.

Теперь покажем еще, что на окружности единичного радиуса существует плотное множество значений $\lambda$, которое не содержит точку $\pm 1$ и на котором неравенство (11) выполнено для бесконечно многих $n$. Если мы положим $\lambda =e^{2\pi i\alpha }(0⩽\alpha <1)$ и выберем для каждого натурального $n$ целое число $m$, соответствуюшее условию
$$-\frac{1}{2}⩽n\alpha -m<\frac{1}{2}$$

то
$$|{\lambda }^n-1|=|e^{2\pi in\alpha }-1|=|e^{\pi in\alpha }-e^{-\pi in\alpha }|=2|\sin (\pi n\alpha )|=2\sin (\pi |n\alpha -m|).$$

Тогда вследствие $|n\alpha -m|=\vartheta ⩽\frac{1}{2}$ получаем неравенства $2\vartheta ⩽\sin \pi \vartheta ⩽$ $⩽\pi \vartheta$ и
$$4\vartheta ⩽|{\lambda }^n-1|⩽2\pi \vartheta ⩽7\vartheta .$$

Поэтому достаточно построить в интервале $0⩽\alpha <1$ всюду плотное множество иррациональных чисел $\alpha$, для которых неравенства
$$|n\alpha -m|<\frac{1}{7(n!{)}^2},n>0$$

имеют бесконечно много целых решений $n$ и $m$. Это удается сделать с помощью представления действительных чисел непрерывными дробями. Известно, что для каждого иррационального числа $\alpha$ из интервала $0<\alpha <1$ существует такая последовательность натуральных чисел $r_1$, $r_2,\dots$, что последовательность дробей $\frac{p_k}{q_k}(k=0,1,\dots )$, образованная по правилам
$$\begin{array}{l}{p}_0=0,q_0=1,p_1=1,q_1=r_1,\\ p_k=r_k{p}_{k-1}+p_{k-2},q_k=r_k{q}_{k-1}+q_{k-2}(k=2,3,\dots ),\end{array}\}$$

стремится к $\alpha$. При этом, разумеется, числа $r_1,r_2,\dots$ определяются величиной $\alpha$ однозначно и называются неполными частными $\alpha$. Тогда из теории непрерывных дробей следует неравенство
$$|q_k\alpha -p_k|<\frac{1}{q_{k+1}}<\frac{1}{r_{k+1}{q}_k}⩽\frac{1}{r_{k+1}}(k=1,2,\dots ).$$

Наоборот, каждой заданной последовательности $r_1,r_2,\dots$ соответствует опять иррациональное число $\alpha$ из интервала $0<\alpha <1$ с заданными неполными частными этой непрерывной дроби.

Пусть теперь в интервале $0<\beta <1$ задано произвольное иррациональное число $\beta$ и пусть $s_1,s_2,\dots$ будут неполными частными его разложения в непрерывную дробь. Пусть далее $l$ есть какое-нибудь фиксированное натуральное число; определим
$$r_k=s_k(0<k⩽l),r_{k+1}=7{(q_k!)}^2(k⩾l),$$

причем $q_0,q_1,\dots ,q_k$ опять можно последовательно найти из уравнений (15). Тогда для непрерывной дроби $\alpha$ с неполными частными $r_1$, $r_2,\dots$ справедливо неравенство (16). Так как первые $l$ неполных частных непрерывных дробей $\alpha$ и $\beta$ совпадают, то и $|q_l\beta -p_l|<q_l^{-1}$. Отсюда следует
$$|\alpha -\beta |⩽|\alpha -\frac{p_l}{q_l}|+|\beta -\frac{p_l}{q_l}|<2q_l^{-2}⩽2l^{-2};$$

с другой стороны, в силу соотношений (16) и (17) требование (14) выполнено для бесконечно многих пар $n=q_k,m=p_k(k=l,l+1,\dots )$. Так как $l$ можно выбрать произвольно большим, то построенные числа $\alpha ={\alpha }_l$ имеют предел $\beta$ и так как $\beta$ произвольно, то множество встречающихся $\alpha$ всюду плотно в единичном интервале.

Пусть $\mathrm{\Lambda }$ есть множество значений $\lambda =e^{2\pi i\alpha }$ на окружности единичного радиуса, для которого решение функционального уравнения Шрёдера $\phi (\zeta )=\zeta +b_2{\zeta }^2+\dots$ обязательно сходится в окрестности $\zeta =0$, и притом для любого заданного в окрестности $z=0$ сходящегося ряда $f(z)=\lambda z+a_2{z}^2+\dots$ Нужно теперь показать, что $\mathrm{\Lambda }$ имеет на единичной окружности линейную меру Лебега $2\pi$ и, следовательно, множество $A$ соответствующих $\alpha$ имеет на единичном интервале $0⩽\alpha <1$ меру Лебега, равную единице. Множество действительных иррациональных чисел $\alpha$, для которых по крайней мере один сходящийся ряд $f(z)$ с первым коэффициентом $\lambda =e^{2\pi i\alpha }$ приводит к расходящемуся ряду Шрёдера $\phi (\zeta )$, имеет поэтому меру нуль. В частности, можно сказать, что вообще отображение $S$ устойчиво, если только выполнено необходимое условие $|\lambda |=1$.

Рассмотрим для заданных положительных чисел $\epsilon ,\mu$ множество $B(\epsilon ,\mu )$ всех чисел $\alpha$ единичного интервала $E$, для которых неравенства
$$|n\alpha -m|<\epsilon n^{-\mu },n>0$$

имеют по меньшей мере одно целочисленное решение $n,m$. Очевидно,
$$B({\epsilon }^{\prime },{\mu }^{\prime })\subset B(\epsilon ,\mu )({\epsilon }^{\prime }⩽\epsilon ,\mu ⩽{\mu }^{\prime }).$$

Пусть $k$ пробегает все натуральные числа; образуем пересечение
$$B=\bigcap _{k}B(k^{-1},2)$$

всех $B(k^{-1},2)$; тогда
$$B\subset B(\epsilon ,2)$$

для каждого $\epsilon$. Обозначим меру Лебега измеримого множества $\mathrm{\Gamma }$ через $m(\mathrm{\Gamma })$ и оценим сверху меру $B(\epsilon ,2)$. Это множество измеримо, так как оно в соответствии с неравенством (18) состоит из соединения суммы счетного числа интервалов, а тогда вследствие равенства (19) $B$ также измеримо. Для каждого решения $n,m$ неравенства (18) справедливо неравенство
$$-\epsilon <m<n+\epsilon ,$$

если $\alpha$ лежит в $E$, и, с другой стороны, длина интервалов для $\alpha$, определенных неравенством (18) при заданных $n$ и $m$, равна $2\epsilon n^{-\mu -1}$. Для любого фиксированного натурального числа $n$ величина $m$, удовлетворяющая неравенству (21), меньше, чем $n+2\epsilon +1$. При использовании соотношения (20) получим
$$\begin{array}{c}m[B(\epsilon ,2)]⩽\sum _{n=1}^{\mathrm{\infty }}2\epsilon (n+2\epsilon +1)n^{-3}<4\epsilon (\epsilon +1)\sum _{n=1}^{\mathrm{\infty }}{n}^{-2},\\ m(B)<\frac{2{\pi }^2}{3}\epsilon (\epsilon +1),\end{array}$$

следовательно, $m(B)=0$, так как $\epsilon$ может быть произвольно мало. Если через $\mathrm{\Delta }$ обозначить множество всех $\alpha$ в $E$, для которых неравенство (18) имеет решение для каждого выбора $\epsilon ,\mu$, то вследствие соотношения (19) множество $\mathrm{\Delta }$ должно содержаться в $B$, поэтому тем более $m(\mathrm{\Delta })=0$. Тогда для дополнительного множества $\mathrm{\Gamma }=E-\mathrm{\Delta }$ $m(\mathrm{\Gamma })=1$, и $\mathrm{\Gamma }$ характеризуется тем, что для каждого числа $\alpha$ из $\mathrm{\Gamma }$ существуют два таких положительных числа $\epsilon ,\mu$, что для каждого натурального $n$ и целого $m$ всегда
$$|n\alpha -m|>\epsilon n^{-\mu }.$$

В следующем параграфе будет показано, что для всех $\alpha$ из Г при произвольном выборе сходящегося ряда $f(z)=\lambda z+\dots$, где $\lambda =e^{2\pi i\alpha }$, соответствующий ряд Шрёдера также сходится [3]. Но тогда по определению $A\supset \mathrm{\Gamma }$, следовательно, справедливо равенство $m(A)=1$, а это и было нашим утверждением.