Смейл [2] доказал следующую теорему, которая показывает, что в размерностях больше двух структурно устойчивые системы не являются системами «общего положения».
Теорема П24.1. Существует диффеоморфизм $\psi$ тора $\mathbb{T}^{3}$ такой, что ни один $C^{1}$-близкий диффеоморфизм $\psi^{\prime}$ не является структурно устойчивым.
Опишем конструкцию, лежащую в основе этой теоремы.
А. Вспомогательный диффеоморфизм $\varphi$
Пусть $\mathbb{T}^{2}$ – тор $\{(x, y)(\bmod 1)\}$. Определим диффеоморфизм $\varphi_{1}$ прямого произведения $\mathbb{T}^{2} \times\{z \mid-1 \leqslant z \leqslant 1\}$ на себя следующим образом:
\[
\varphi_{1}=\left\{\begin{array}{c}
\left(\begin{array}{l}
x \\
y
\end{array}\right) \rightarrow\left(\begin{array}{ll}
1 & 1 \\
1 & 2
\end{array}\right)\left(\begin{array}{l}
x \\
y
\end{array}\right)(\bmod 1), \\
z \rightarrow \frac{1}{2} z .
\end{array}\right.
\]
Пусть $B_{1 / 2}$ – шар радиуса $1 / 2$ с центром $(0,0,2)$ в $\mathbb{T}^{2} \times \mathbb{R}$ (см. рис. П24.2):
\[
x^{2}+y^{2}+(z-2)^{2} \leqslant \frac{1}{4} .
\]
Определим диффеоморфизм шара $B_{1 / 2}$ в $\mathbb{T}^{2} \times\{z \mid 0 \leqslant z \leqslant 3\}$ как
\[
\varphi_{1}^{\prime}=\left\{\begin{array}{l}
x \rightarrow \frac{1}{2} x \\
y \rightarrow \frac{1}{2} y \\
z \rightarrow 2 z-2 .
\end{array}\right.
\]
Установив это, получим тор $\mathbb{T}^{3}$, отождествив $\mathbb{T}^{2} \times\{-3\}$ и $\mathbb{T}^{2} \times\{3\}$. Нетрудно доказать следующую лемму.
Рис. II24.2
Лемма П24.3. Существует диффеоморфизм $\varphi: \mathbb{T}^{3} \rightarrow \mathbb{T}^{3}$ такой, что
1) его ограничение на $\mathbb{T}^{2} \times\{z \mid-1 \leqslant z \leqslant 1\}$ есть $\varphi_{1}$;
2) его ограничение на $B_{1 / 2}$ есть $\varphi_{1}^{\prime}$;
3) оставляет инвариантной точки $x=y=0$ тора $\mathbb{T}^{3}$ :
\[
\begin{array}{c}
\varphi(0,0, z)=\left(0,0, z^{\prime}\right), \\
\text { и если } 0 \leqslant z \leqslant 2, \text { то } 0<z^{\prime}<z ; \text { если } z=1, \text { то } 0 \leqslant z^{\prime} \leqslant \frac{1}{2} .
\end{array}
\]
Замечание П24.4. Ясно, что $\mathbb{T}^{2} \times\{0\}$ – тор в $\mathbb{T}^{3}$, инвариантный относительно $\varphi$. Ограничение диффеоморфизма $\varphi$ (или $\varphi_{1}$ ) на $\mathbb{T}^{2} \times\{0\}$ есть не что иное, как диффеоморфизм из примера 13.1 (гл. 3):
\[
\left(\begin{array}{l}
x \\
y
\end{array}\right) \rightarrow\left(\begin{array}{ll}
1 & 1 \\
1 & 2
\end{array}\right)\left(\begin{array}{l}
1 \\
2
\end{array}\right)(\bmod 1) .
\]
Напомним некоторые свойства этого диффеоморфизма.
На $\mathbb{T}^{2} \times\{0\}$ существуют два расслоения $\mathscr{X}$ и $\mathscr{Y}$, касательные, соответственно, к растягивающему полю $X_{m}$ и сжимающему полю $Y_{m}$ (см. лемму 17.6, гл. 3). Каждый слой из $\mathscr{X}$ (или $\mathscr{Y}$ ) всюду плотен в $\mathbb{T}^{2} \times\{0\}$. Периодические точки ${ }^{1}$ этого диффеоморфизма плотны на $\mathbb{T}^{2} \times\{0\}$. Чтобы доказать последнее утверждение, достаточно заметить, что все рациональные точки $\left(\frac{p}{q}, \frac{p^{\prime}}{q}\right) \in \mathbb{T}^{2}$ периодичны, так как $\varphi$ сохраняет знаменатель.
Если теперь перейти к диффеоморфизму $\varphi$ тора $\mathbb{T}^{3}$, то без труда получаются следующие свойства. Периодические точки диффеоморфизма $\varphi$ на $\mathbb{T}^{2} \times\{z \mid-1 \leqslant z \leqslant 1\}$ совпадают с периодическими точками диффеоморфизма (П24.5), так же как и расслоения $\mathscr{X}$ и $\mathscr{Y}$ в $\mathbb{T}^{2} \times\{0\}$. Расслоение $\mathscr{Y}$ образует инвариантное сжимающее расслоение $\mathbb{T}^{2} \times\{z \mid-1 \leqslant z \leqslant 1\}$, слои которого есть «плоскости» вида $Y_{m} \times\{z \mid-1 \leqslant z \leqslant 1\}$, где $Y_{m}$ – некоторый слой из $\mathscr{Y}$.
Замечание П24.6. Окружность $x=y=0$ тора $\mathbb{T}^{3}$ есть «сепаратриса», соединяющая два «седла» $(0,0,0)$ и $(0,0,2)$.
В. Диффеоморфизм $\psi$
Построим диффеоморфизм $\psi$, возмущая диффеоморфизм $\varphi$.
Пусть $G_{0}$ – сфера с центром в $(0,0,3 / 4)$ и радиусом $d$ в $\mathbb{T}^{3}$ :
\[
G_{0}=\left\{(x, y, z) \mid x^{2}+y^{2}+(z-3 / 4)^{2} \leqslant d^{2}\right\} .
\]
Положим $G=\varphi^{-1} G_{0}, \varphi(x, y, z)=\left(x^{\prime}, y^{\prime}, z^{\prime}\right)$ и заметим, что $d$ можно выбрать достаточно малым для того, чтобы $\varphi G \cap G=\varnothing$. Определим $\psi$ следующим образом:
\[
\psi(x, y, z)=\left\{\begin{array}{ll}
\varphi(x, y, z)=\left(x^{\prime}, y^{\prime}, z^{\prime}\right) & \text { вне } G, \\
\left(x^{\prime}+\eta \Phi(x, y, z), y^{\prime}, z^{\prime}\right) & \text { на } G,
\end{array}\right.
\]
где $\Phi$ – неотрицательная $C^{\infty}$-функция с носителем в $G$, достигающая максимума +1 в точке $\varphi^{-1}(0,0,3 / 4)$, а $\eta>0$ – число, достаточно малое для того, чтобы отображение $\psi$ было диффеоморфным.
ЗАмЕчаниЕ П24.7. Образ сепаратрисы $x=y=0,0 \leqslant z \leqslant 2$ под действием диффеоморфизма $\psi$ обладает «клювом» $B$ (см. рис. П24.2). Этот клюв находится в области $\mathbb{T}^{2} \times\{z \mid-1 \leqslant z \leqslant 1\}$, где $\psi$ совпадает с $\varphi=\varphi_{1}$. В силу замечания (П24.4) эта область расслоена на сжимающиеся слои размерности 2 – плоскости, параллельные $O z$ и опирающиеся на сжимающиеся слои $X$. Пусть
\[
\frac{x}{a}+\frac{y}{b}=1
\]
– уравнение сжимающегося слоя в системе координат ( $x, y, z)$. Из слоев, опирающихся на «клюв $B$, рассмотрим слой $\mathscr{F}$, для которого $a$ – максимум (см. рис. П24.2). Этот слой либо содержит периодическую точку $\xi$ диффеоморфизма $\psi$, т.е. точку, для которой существует целое число $N
eq 0$ такое, что
\[
\psi^{N} \xi=\varphi^{N} \xi=\xi, \quad \xi \in \mathbb{T}^{3},
\]
либо не содержит периодической точки. В первом случае мы говорим, что «клюв» периодичен, во втором называем «клюв» непериодическим.
Лемма П24.8. Диффеоморфизм $\psi$ не является структурно устойчивым.
Доказательство.
Это следует из двух следующих результатов:
1) Произвольно малым изменением величины $\eta$ в определении диффеоморфизма $\psi$ мы получаем диффеоморфизм $\psi^{\prime \prime}$ сколь угодно $C^{1}$-близкий к $\psi$ и аналогичный $\psi$. Учитывая плотность периодических точек (см. П24.4) можно предположить, что «клюв» диффеоморфизма $\psi$ периодичен, а «клюв» диффеоморфизма $\psi^{\prime \prime}$ непериодичен или наоборот.
2) Если «клювы» диффеоморфизмов $\psi$ и $\psi^{\prime \prime}$ одновременно периодичны или одновременно непериодичны, то не существует гомеоморфизма $h$, близкого к тождественному и такому, что
\[
\psi^{\prime \prime} \circ h=h \circ \psi .
\]
Действительно, $h$ устанавливает соответствие между «клювами», сжимающими слоями и периодическими точками.
Лемма П24.9. Конструкиия диффеоморфизма $\psi$ структурно устойчива. В частности, если $\psi^{\prime}$ – диффеоморфизм, $C^{1}$-близкий к $\psi$, то он
также обладает инвариантным тором, аналогичным $\mathbb{T}^{2} \times\{0\}$, «клювом», сжимающим слоем, аналогичным $\mathscr{F}$ и т.д.
Доказательство.
Из утверждения леммы следует структурная устойчивость «седла» $(0,0,2)$ диффеоморфизма $\psi$ и диффеоморфизма
\[
\left(\begin{array}{l}
x \\
y
\end{array}\right) \rightarrow\left(\begin{array}{ll}
1 & 1 \\
1 & 2
\end{array}\right)\left(\begin{array}{l}
x \\
y
\end{array}\right) \quad(\bmod 1) .
\]
(см. теорему Аносова, § 16, гл. 3).
Теорема П24.1 следует из двух предыдущим лемм: также, как $\psi$, диффеоморфизм $\psi^{\prime}$ не является структурно устойчивым.