Рассмотрим сначала некоторые предельные свойства траекторий.

Определение 5.1. Точка $q$ фазового пространства называется ю-предельной точкой точки $p$, если существует последовательность моментов времени $\left\{t_{n}\right\}, \quad t_{n} \rightarrow \infty$ при $n \rightarrow \infty$, такая, что $q=$ $=\lim _{n \rightarrow \infty} f\left(p, t_{n}\right)$. Если же $t_{n} \rightarrow$ $\rightarrow-\infty$, то точка $q=\lim _{n \rightarrow \infty} f\left(p, t_{n}\right)$
называется $x$-предельной точкой точки $p$. Так, например, асимптотически устойчивое положение равновесия является $\omega$-предельной точ-кой для всех точек, лежащих в достаточно малой окрестности этого положения. Точки предельного цикла, на который навиваются спиралевидные кривые (рис. 2), также, являются $\omega$-предельными для точек, принадлежащих этим кривым. В обоих примерах ш-предельные точки составляют целые траектории (в первом случае – особая точка, во втором – предельный цикл). Этот факт не случаен. Имеет место следующее утверждение.

Теорем 5.1. Множество $\omega$-предельных ( $\alpha$-предельных точек данной точки есть замкнутое множество, состоящее из целых траекторий.

Прежде всего заметим, что замкнутость множества $\omega$-предельных точек есть следствие одной известной теоремы из теории множеств. Эта теорема утверждает, что предельная точка для предельных точек множества снова является предельной точкой этого множества. Допустим теперь, что точка $q$ является $\omega$-предельной точкой для точки $p$, и покажем, что точка $f(q, \tau)$ (число $\tau$ может иметь как положительный, . так и отрицательный знак) также является $\omega$-предельной для точки $p$. В самом деле, если $q=\lim _{n \rightarrow \infty} f\left(p, t_{n}\right)$, то из группового свойства динамических систем (см. §1) и свойства непрерывности $f(p, t)$ как функции $p$, получим $f(q, \tau)=$ $=\lim _{n \rightarrow \infty} f\left(p, t_{n}+\tau\right)$, а это и означает, что точка $f(q, \tau)$ является $\omega$-предельной точкой точки $p$, т. е. все точки траектории, выходящей из $q$, являются $\omega$-предельными точками для $p$.

Множество, состоящее из целых траектории, часто называют инвариантным множеством. Инвариантное множество $A$ обладает тем свойством, что $f(A, t)=A$ при любом $t$. Если же $f(A, t) \subset A$ при $t>0$, то множество $A$ назовем положительно инвариантным.

Заметим, что если траектория $f(p, t)$ не выходит при $t>t_{0}$ из ограниченной части пространства, то множество ее $\omega$-предельных точек не пусто.

Лемма 5.1. Если существует бункция Ляпунова $v$, ограниченная снизу (сверху) в положительно инвариантной области $D$, и если производная по времени $\dot{~ э т о и ̆ ~}$ бункции знакоотрицательна (знакоположительна) в этой области, то все ()-предельные точки данной точки р лежат на одной и той же поверхности уровня функции $v$.

В самом деле, пусть точка $p$ лежит в области $D$ и пусть точка $q=\lim _{n \rightarrow \infty} f\left(p, t_{n}\right)$ является $\omega$-предельной для $p$. Прежде всего заметим, что функция $v(f(p, t))$ при $t \rightarrow \infty$ не возрастает и ограничена снизу, следовательно, существует предел $v_{0}=\lim _{t \rightarrow \infty} v(f(p, t))$. В силу непрерывности функции $v$ имеем также $v(q)=\lim _{n \rightarrow \infty} v\left(f\left(p, t_{n}\right)\right)$, но так как $v(f(p, t))$ монотонно меняется, то имеем, очевидно, $v(q)=v_{0}$, что и доказывает лемму.

Теорема 5.2. Eсли существует определенно положительная функция $v$ такая, что $\dot{v}<0$ вне $M$ и $\dot{v} \leqslant 0$ на $M$, где $M$ – множество, не содержащее целых траекторий, кроме точки $O$, то положение равновесия $O$ асимптотически устойчиво.

Докажем теорему. Очевидно, положение равновесия точка $O$ устойчиво в смысле Ляпунова, так как выполняются условия теоремы 4.1. В силу устойчивости существует для заданного положительного числа $\varepsilon$ положительное число $\delta$ такое, что если $p \subset J_{\delta}$, то $f(p, t) \subset J_{\varepsilon}$ при $t>0$.

Так как траектория $f(p, t)$ не выходит при $t>0$ за пределы шара $\bar{J}_{\varepsilon}$, то множество $\Omega$-предельных точек точки $p$ не пусто. Если $Q$ совпадает с точкой $O$; то теорема доказана, так как будем иметь $\lim _{t \rightarrow \infty} f(p, t)=0$.

Допустим, что множество $Q$ содержит по крайней мере одну точку $q$, отличную от точки $O$. Из леммы 5.1 следует, что
\[
v(q)=v(f(q, t))=\lim _{t \rightarrow \infty} v(f(p, t))
eq 0 .
\]

Таким образом, все $\omega$-предельные точки $p$ лежат на одной и той же поверхности уровня $v=v(q)$. Из теоремы 5.1 следует, что множество $Q$ замкнуто и состоит из целых траекторий. Таким образом, так как $v$ вдоль этих траекторий остается постоянной, то имеем $\dot{v}=0$ на всем множестве $Q$. По условию теоремы множество $Q$ должно содержаться в множестве $M$, но множество $M$ не содержит целых траекторий. Полученное противоречие доказывает теорему.

Заметим, что из теоремы 5.2 следует справедливость теоремы 4.2, таким образом, теорема 5.2 является усилением теоремы Ляпунова об асимптотической устойчивости. Теорема 5.2 позволяет решить вопрос об асимптотической устоичивости с помощью функции Ляпунова, имеющей знакопостоянную производную. В конкретных примерах именно такие функции Ляпунова удается чаще всего построить для нелинейных систем. Следует заметить, что требование теоремы об отсутствии на множестве $M$ целых траектории легко проверяется. В самом деле, если, например, уравнение $\varphi\left(x_{1}, \ldots, x_{n}\right)=0$ является уравнением поверхности $M$, то условие
\[
\frac{d \varphi}{d t}=\sum_{i=1}^{n} \frac{\partial \varphi}{\partial x_{i}} X_{i}
eq 0
\]

является, очевидно, достаточным условием отсутствия целых траекторий на множестве $M$, так как при выполнении этого условия интегральные кривые «прошивают» поверхность $M$.