1.1. Введение. Рассмотрим динамическую систему общего вида, описываемую обыкновенными дифференциальными уравнениями
\[
\dot{\mathbf{x}}=\mathbf{f}(\mathbf{x}) .
\]

Здесь $\mathbf{x} \in \mathbf{X} \subseteq \mathbf{R}^{n}-n$-мерный вектор фазовых переменных, $\dot{\mathbf{x}}=$ $=d \mathbf{x} / d t, t \in[0 ;+\infty), \mathbf{f}(\mathbf{x}) \in \mathcal{C}^{1}: \mathbf{X} \rightarrow \mathbf{R}^{n}$. В дальнейшем скалярное произведение двух векторов $\mathbf{a}$ и $\mathbf{b}$ будем обозначать ( $\mathbf{a} \cdot \mathbf{b}$ ), а векторное произведение $-[\mathbf{a} \times \mathbf{b}]$.

Пусть $\mathbf{x}\left(t ; \mathbf{x}^{0}\right)$ — решение уравнений (1.1) с начальными условиями $\mathbf{x}\left(0 ; \mathbf{x}^{0}\right)=\mathbf{x}^{0} \in \mathbf{X}$ (момент $t=0$ можно выбрать в качестве начального, поскольку уравнения (1.1) не зависят явно от времени). Это решение соответствует некоторому движению рассматриваемой системы, поэтому будем называть его движением $\mathbf{x}\left(t ; \mathbf{x}^{0}\right)$ системы.

ОПРЕДЕЛЕНИЕ 1.1. Множество $\mathbf{X}_{0} \subset \mathbf{X}$ называется инвариантным множеством системы, если $\mathbf{x}\left(t ; \mathbf{x}^{0}\right) \in \mathbf{X}_{0}$ для всех $t \geqslant 0$ и произвольного $\mathbf{x}^{0} \in \mathbf{X}_{0}$.

Замечание 1.1. Если $\operatorname{dim} \mathbf{X}_{0}=0$, то $\mathbf{X}_{0}=\left\{\mathbf{x}^{0}\right\}$, где $\mathbf{x}^{0} \in \mathbf{X}-$ неподвижная точка системы (1.1) $\left(\mathbf{f}\left(\mathbf{x}^{0}\right)=\mathbf{0}\right)$, т.е. $\mathbf{x}\left(t ; \mathbf{x}^{0}\right) \equiv \mathbf{x}^{0}-$ установившееся движение системы.

Замечание 1.2. Если $\operatorname{dim} \mathbf{X}_{0}=d>0(d<n)$, то $\mathbf{X}_{0}=\{\mathbf{x} \in$ $\left.\mathbf{X}: \varphi_{0}(\mathbf{x})=\mathbf{0}\right\}$, где $\varphi(\mathbf{x}) \in \mathcal{C}^{1}: \mathbf{X} \rightarrow \mathbf{R}^{n-d}$. Движения системы на инвариантном множестве $\mathbf{X}_{0}$ удовлетворяют уравнениям
\[
\dot{\mathbf{x}}=\left.\mathbf{f}(\mathbf{x})\right|_{\varphi_{0}(\mathbf{x})=0}
\]

и зависят от времени.

Замечание 1.3. [5] Если множество $\left\{\mathbf{x} \in \mathbf{X}: \varphi_{0}(\mathbf{x})=\mathbf{0}\right\}$ представляет собой инвариантное множество системы, то
\[
\left(\frac{\partial \varphi_{0}}{\partial \mathbf{x}} \mathbf{f}\right)_{\varphi_{0}=0}=\mathbf{0} .
\]

Если выполняются последние соотношения и
\[
\operatorname{rank}\left(\partial \varphi_{\mathbf{0}} / \partial \mathbf{x}\right)_{\varphi_{0}=\mathbf{0}}=n-d,
\]

то множество $\left\{\mathbf{x} \in \mathbf{X}: \varphi_{0}(\mathbf{x})=\mathbf{0}\right\}$ — инвариантное множество системы. ОПРЕДЕЛЕНИЕ 1.2. Функция $U(\mathbf{x}) \in \mathcal{C}^{1}: \mathbf{X} \rightarrow \mathbf{R}$ называется первым интегралом системы, если $d U / d t=(\operatorname{grad} U \cdot \mathbf{f}) \equiv 0$.

ОПРЕДЕЛЕНИЕ 1.3. Компактное инвариантное множество $\mathbf{X}_{0}$ системы устойчиво, если для любого сколь угодно малого положительного числа $\varepsilon$ существует положительное число $\delta$, такое что $\operatorname{dist}\left(\mathbf{x}\left(t ; \mathbf{x}^{*}\right) ; \mathbf{X}_{0}\right)<\varepsilon$ для всех $t \geqslant 0$ и произвольного $\mathbf{x}^{*} \in \mathbf{X}$, удовлетворяющего условию $\operatorname{dist}\left(\mathbf{x}^{*} ; \mathbf{X}_{0}\right)<\delta ;$ в частности, установившееся движение $\mathbf{x}\left(t ; \mathbf{x}^{0}\right) \equiv \mathbf{x}^{0}$ устойчиво, если для любого сколь угодно малого положительного числа $\varepsilon$ существует положительное число $\delta$, такое что $\left\|\mathbf{x}\left(t ; \mathbf{x}^{*}\right)-\mathbf{x}^{0}\right\|<\varepsilon$ для всех $t \geqslant 0$ и произвольного $\mathbf{x}^{*} \in \mathbf{X}$, удовлетворяющего условию $\| \mathbf{x}^{*}-$ $-\mathbf{x}^{0} \|<\delta$; в противном случае $\mathbf{X}_{0}$ и $\mathbf{x}^{0}-$ неустойчивые инвариантное множество и стационарное движение соответственно.
Здесь и далее $\operatorname{dist}\left(\mathbf{x} ; \mathbf{X}_{0}\right)=\min _{\mathbf{y} \in \mathbf{X}_{0}}\|\mathbf{x}-\mathbf{y}\| ;\|\mathbf{x}\|$ — норма вектора $\mathbf{x}$.

1.2. Инвариантные множества и их устойчивость. Рассмотрим динамическую систему (1.1) и предположим, что она допускает не зависящие от времени и дважды непрерывно дифференцируемые по входящим в них переменным первые интегралы
\[
U_{0}(\mathbf{x})=\mathrm{c}_{0}, U_{1}(\mathrm{x})=\mathrm{c}_{1}, \ldots, U_{k}(\mathrm{x})=\mathrm{c}_{k},(k<n-1),
\]

где $\mathrm{c}_{0}, \mathrm{c}_{1}, \ldots, \mathrm{c}_{k}$ — произвольные постоянные.
Будем говорить, что интеграл $U_{0}(\mathbf{x})$ принимает невырожденное стационарное значение на некотором множестве $\mathbf{X}_{0} \subset \mathbf{X}$ для фиксированных значений первых интегралов $\mathbf{U}(\mathbf{x})-\mathbf{c}\left(\mathbf{c} \in \mathbf{R}^{k}\right)$, если $\mathbf{X}_{0}-$ максимальное связанное подмножество множества $\left\{\mathbf{x} \in \mathbf{X}:\left.\delta U_{0}\right|_{\mathbf{U}=\mathbf{c}}=0\right\}$ и $\left.\delta^{2} U_{0}\right|_{\mathbf{U}=\mathbf{c}}
eq 0$ для любого $\mathbf{x} \in \mathbf{X}_{0}$.

Между инвариантными множествами системы (1.1) и стационарными значениями одного из интегралов данной системы при фиксированных значениях постоянных других интегралов имеется соответствие, которое устанавливает

ТЕорема 1.1. [5] Если один из интегралов системы принимает невырожденное стационарное значение на некотором множестве $\mathbf{X}_{0}$, то $\mathbf{X}_{0}$ — инвариантное множество этой системь.

Доказательства этой и последующих теорем приведены в монографии [18].

ЗАМЕЧАНИЕ 1.4. Движения системы, лежащие на множестве $\mathbf{X}_{0}$, зависят от времени и совпадают с установившимися, только если $\operatorname{dim} \mathbf{X}_{0}=$ $=0$. Тем не менее, эти движения можно назвать стационарными, поскольку они доставляют одно и то же стационарное значение одному из интегралов системы при фиксированных значениях других интегралов.

ЗАмечАниЕ 1.5. Инвариантное множество $\mathbf{X}_{0}$, доставляющее интегралу $U_{0}$ стационарное значение при фиксированных постоянных первых интегралов $\mathbf{U}=\mathbf{c}$, зависит от этих постоянных. Это означает, что инвариантные множества $\mathbf{X}_{0}$ образуют некоторое семейство инвариантных

множеств $\mathbf{X}_{0}(\mathbf{c})$. Что касается стационарных движений $\mathbf{x}^{0}(t)$, лежащих на множестве $\mathbf{X}_{0}(\mathbf{c})$, то они, кроме того, зависят от начальных условий $\mathbf{x}^{0}$, принадлежащих этому множеству. Это означает, что стационарные движения $\mathbf{x}^{0}\left(t, \mathbf{c}, \mathbf{x}^{0}\right)$ образуют семейство размерности, не меньшей суммы числа произвольных и независимых для $\mathbf{X}_{0}(\mathbf{c})$ постоянных среди постоянных с интегралов $\mathbf{U}=\mathbf{c}$ и числа произвольных начальных услоВий $\mathbf{x}^{0} \in \mathbf{X}_{0}(\mathbf{c})$.

Замечание 1.6. Интеграл $U_{0}(\mathbf{x})=$ с $_{0}$ (даже при фиксированных значениях первых интегралов $\mathbf{U}(\mathbf{x})=\mathbf{c}$ ) может принимать стационарные значения не только на множестве $\mathbf{X}_{0}$, но, вообе говоря, и на других множествах $\mathbf{X}_{1}, \mathbf{X}_{2}, \ldots$ Множества $\mathbf{X}_{1}, \mathbf{X}_{2}, \ldots$ соответствуют одним и тем же значениям постоянных первых интегралов $\mathbf{U}(\mathbf{x})$, но, вообще говоря, различным значениям постоянной интеграла $U_{0}(\mathbf{x})$. Эти множества также зависят от постоянных с и образуют некоторые семейства инвариантных множеств $\mathbf{X}_{1}(\mathbf{c}), \mathbf{X}_{2}(\mathbf{c}), \ldots$

ЗамечаниеЕ 1.7. Семейства инвариантных множеств $\mathbf{X}_{0}(\mathbf{c}), \mathbf{X}_{1}(\mathbf{c})$, $\mathbf{X}_{2}(\mathbf{c}), \ldots$ могут иметь различные размерности, а также (при некоторых значениях $\mathbf{c}^{*}$ ) общие точки. Такие точки называются точками бифуркации (по Пуанкаре). Объединение данных семейств $\mathbf{X}(\mathbf{c})=$ $=\mathbf{X}_{0}(\mathbf{c}) \cup \mathbf{X}_{1}(\mathbf{c}) \cup \mathbf{X}_{2}(\mathbf{c}) \ldots$ представляет в пространстве $\mathbf{X} \times \mathbf{R}^{k}(\mathbf{x} \in \mathbf{X}$, $\mathbf{c} \in \mathbf{R}^{k}$ ) некоторую самопересекающуюся поверхность (диаграмму Пуанкаре).

Будем говорить, что множество $\mathbf{X}_{0} \subset \mathbf{X}$ доставляет функции $U_{0}(\mathbf{x})$ при ограничениях $\mathbf{U}(\mathbf{x})=\mathbf{c}$ локально строго минимальное (максимальное) значение, если $U_{0}\left(\mathbf{X}_{0}\right)=$ const и существует число $\delta>0$ такое, что для любых значений $\mathbf{x}$, удовлетворяющих соотношениям
\[
0<\operatorname{dist}\left(\mathbf{x}, \mathbf{X}_{0}\right)<\delta, U(\mathbf{x})=\text { const }
\]

выполняется неравенство
\[
U_{0}(\mathbf{x})>U_{0}\left(\mathbf{X}_{0}\right) \quad\left(U_{0}(\mathbf{x})<U_{0}\left(\mathbf{X}_{0}\right)\right) .
\]

Основной результат, касающийся устойчивости инвариантных множеств, дает следующая

ТЕОРЕМА 1.2. [10,19] Если (компактное) инвариантное множество $\mathbf{X}_{0}$ доставляет одному из первых интегралов системы локально строго минимальное или максимальное значение при фиксированных значениях постоянных других интегралов, то $\mathbf{X}_{0}$ — (устойчивое) инвариантное множество этой системы.

1.3. Степень неустойчивости Пуанкаре. Функция $U_{0}(\mathbf{x})$ имеет локально строгий минимум [не имеет даже нестрогого минимума] при

фиксированных постоянных $\mathbf{c}^{0}$ первых интегралов $\mathbf{U}(\mathbf{x})=\mathbf{c}$ на множестве $\mathbf{X}_{0}\left(\mathbf{c}^{0}\right)=\left\{\mathbf{x} \in \mathbf{X}: \varphi_{0}(\mathbf{x})=\mathbf{0}\right\}$, где $\varphi_{0}(\mathbf{x}) \in \mathcal{C}^{1}: \mathbf{X} \rightarrow \mathbf{R}^{n-d}$; $d=\operatorname{dim} \mathbf{X}_{0}\left(\mathbf{c}^{0}\right)$, если вторая вариация функции $G=U_{0}+(\boldsymbol{\lambda} \cdot(\mathbf{U}-$ $\left.-\mathbf{c}^{0}\right)$ ) положительно определена по отношению к вариациям отклонений фазовых переменных $\xi=\left(\partial \varphi_{0} / \partial \mathbf{x}\right)_{\varphi_{0}=0} \delta \mathbf{x}$ от этого множества [может принимать отрицательные значения в некоторой окрестности этого множества] на линейном многообразии $\delta \mathbf{U}=\mathbf{0}$ :
\[
\begin{array}{c}
\left.\delta^{2} G\left(\mathbf{X}_{0}\left(\mathbf{c}^{0}\right) ; \boldsymbol{\lambda}^{0}\left(\mathbf{c}^{0}\right)\right)\right|_{\delta \mathbf{U}\left(\mathbf{X}_{0}\left(\mathbf{c}^{0}\right)\right)=\mathbf{0}}>0 \quad \forall \xi: 0<\|\xi\|<\delta \\
{\left[\exists \boldsymbol{\xi},(0<\|\xi\|<\delta):\left.\delta^{2} G\left(\mathbf{X}_{0}\left(\mathbf{c}^{0}\right) ; \boldsymbol{\lambda}^{0}\left(\mathbf{c}^{0}\right)\right)\right|_{\delta \mathbf{U}\left(\mathbf{X}_{0}\left(\mathbf{c}^{0}\right)\right)=\mathbf{0}}<0\right]}
\end{array}
\]
( $\delta$ — некоторое положительное число). Эта вторая вариация может быть представлена в виде
\[
\frac{1}{2}\left(\mathbf{Q}_{0} \boldsymbol{\eta} \cdot \boldsymbol{\eta}\right)
\]

где $\boldsymbol{\eta} \in \mathbf{R}^{n-d-k}$ и $\mathbf{Q}_{0}-(n-d-k) \times(n-d-k)$ — матрица ( $n=\operatorname{dim} \mathbf{x}, d=$ $\left.=\operatorname{dim} \mathbf{X}_{0}\left(\mathbf{c}^{0}\right), k=\operatorname{dim} \mathbf{U}\right)$. Индекс этой квадратичной формы называется степенью неустойчивости Пуанкаре: если степень неустойчивости Пуанкаре равна [не равна] нулю, то $U_{0}(\mathbf{x})$ имеет локально строгий минимум [не имеет даже нестрогого минимума] при фиксированных значениях $\mathbf{c}^{0}$ первых интегралов $\mathbf{U}(\mathbf{x})=\mathbf{c}$ на множестве $\mathbf{X}_{0}\left(\mathbf{c}^{0}\right)$.

Рассмотрим случай, когда $\operatorname{dim} \mathbf{X}_{0}=0$, т.е. $\mathbf{X}_{0}(\mathbf{c})=\left\{\mathbf{x}^{0}(\mathbf{c})\right\}$, где $\mathbf{x}^{0}(\mathbf{c})$ — семейство стационарных движений системы $\left(\mathbf{f}\left(\mathbf{x}^{0}(\mathbf{c})\right) \equiv \mathbf{0}\right)$. Пусть $\xi=\delta \mathbf{x}=\mathbf{x}-\mathbf{x}^{0}\left(\mathbf{c}^{0}\right)$, тогда линеаризованная система уравнений возмущенного движения имеет вид
\[
\dot{\xi}=\left(\frac{\partial \mathbf{f}}{\partial \mathbf{x}}\right)_{0} \xi .
\]

Здесь $(\cdot)_{0}=(\cdot)_{x=x^{0}\left(c^{0}\right)}$.
Теорема 1.3. Если степень неустойчивости Пуанкаре стационарного движения $\mathbf{x}_{0}\left(\mathbf{c}^{0}\right)$ нечетна и $\operatorname{rank}(\partial \mathbf{f} / \partial \mathbf{x})_{0}=n-k$, то это стационарное движение неустойчиво.

Отметим, что теорема 1.3. представляет собой модификацию одной из теорем Кельвина — Четаева $[15,16]$. Формулировка и первое доказательство теоремы приведены в работе [20]. Более простое доказательство теоремы 1.3. предложено в [21].