Рассмотрим теперь теоремы о неустойчивости.
Теоремы 6.1 и 6.2 принадлежат А. М. Ляпунову, теорема 6.3 доказана Н. Н. Красовским [7].

Теорема 6.1. Если существует функция $v$, имеющая знакоопределенную производную по времени, и такая, что знакопостоянной, знака противоположного с $\dot{\text {, }}$, то нулевое решение системы (4.1) неустойчиво.

Пусть в шаре $J_{\varepsilon}$ выполнены условия теоремы. Полагая для определенности функцию $i$ определенно положительной, рассмотрим көк угодно малую окрестность $J_{\hat{\delta}}$ точки $O$. Покажем, что существует точка $p$, траектория которой при $t>0$ выйет за пределы $J_{\varepsilon}$. По условию теоремы в $J_{8}$ имеется точка $p$, в которой $v(p)=v_{0}>0$. В силу непрерывности функции $v$ существует такое число $\eta_{\text {, }}$, что в $J_{\eta}$ будем иметь $|v|<v_{0}$. Так как функция $\dot{v}$ определенно положительна, то $v(f(p, t))$ растет с ростом $t$, и поэтому точка $f(p, t)$ не сможет попасть в $J_{\eta}$. Допустим, что точка $f(p, t)$ не выйдет за пределы $J_{z}$. Так как $\dot{v}$ имеет в области $\bar{J}_{s} \backslash J_{\eta}$ положительный минимум $m$, то будет справедливым неравенство
\[
v(f(p, t))=v(p)+\int_{0}^{t} \dot{v} d t>v(p)+m t .
\]

Отсюда видим, что с ростом $t$ функция $v(f(p, t))$ растет неограниченно, но, с другой стороны, функция $v$ как непрерывная функция должна быть ограниченнои в шаровом слое $\bar{J}_{\mathbf{t}} \backslash J_{\eta}$. Полученное противоречие доказывает теорему.

Теорема 6.2. Если существует функция $v$ такая, что ее производная по времени имеет вид
\[
\frac{d v}{d t}=\lambda v+w
\]

где $\lambda$ — положительная постоянная, а ш или тождественно обращается в нуль илт является знакопостоянной, и если в последнем случае функция $у$ не является в любой окрестности точки О знакопостоянной, знака противоположного сю, то нулевое решение системы (4.1) неустойчиво.

Полагая для определенности $w \geqslant 0$, в произвольно малой окрестности $J_{\delta}$ выберем точку $p$, в которой $v(p)=v_{0}>0$, и покажем, что точка $f(p, t)$ с ростом $t$ выйдет за пределы любой окрестности $J_{s}$, в которой выполнены условия теоремы. Рассматривая функции $v(f(p, t))$ и $w(f(p, t))$ как функции времени, из дифференциального уравнения (6.2) можем определить $v(f(p, t))$ по известной формуле Коши:
\[
v(f(p, t))=e^{\lambda t}\left[\int_{0}^{t} e^{-\lambda t} w d t+v_{0}\right] .
\]

Из условия $w \geqslant 0$ имеем
\[
v(f(p, t)) \geqslant v_{0} e^{\lambda t} .
\]

Так как $\lambda>0$, то с ростом $t$ функция $v(f(p, t))$ растет неограниченно, а это значит, что точка $f(p, t)$ выйдет за пределы области $J_{\varepsilon}$.

Теорема 6.3. Если существует функция $v$, не являющаяся знакоотрицательной в произвольной окрестности точки $O$, и такая, что
\[
\frac{d v}{d t}>0 \text { вне } M, \quad \frac{d v}{d t} \geqslant 0 \text { на } M,
\]

где $M$-множество, не содержащее целых траекторий (кроме точки O), то положение равновесия неустойчиво.

Так же как и в доказательстве теоремы 6.1 , в произвольно малой окрестности $J_{\delta}$ выберем точку $p$, в которой $v(p)=$ $=v_{0}>0$, и выберем затем шар $J_{\eta}$, во всех точках которого имеет местс неравенство $v<v_{0}$. Допустим теперь, что точка $f(p, t)$ не выйдет за пределы некоторого шара $\bar{J}_{\varepsilon}$. Так как $f(p, t)$ не может попасть и в $J_{\eta}$, то точка $f(p, t)$ будет при всех $t>0$ лежать в шаровом слое $\bar{J}_{\varepsilon} \backslash J_{\eta}$, следовательно, непустое множество $\boldsymbol{Q} \boldsymbol{\omega}$-предельных точек точки $p$ также будет лежать в этом шаровом слое. Но по лемме 5.1 множество $Q$ лежит на поверхности $v=c$, а по теореме 5.1 множество $\Omega$ является замкнутым и состоит из целых траекторий. Таким образом, на $\boldsymbol{Q}$ имеем $\dot{v}=0$, откуда следует, что $Q \subset M$, а это противоречит предположению теоремы, так как множество $M$ не содержит целых траекторий.

В заключение отметим, что возможны различные обобщения рассмотренных теорем. Так, например, можно отказаться от требования выполнения условий Јипшица для правых частей системы (4.1) или даже от требования непрерывности правых частей. Все теоремы $\S 4-6$, безусловно, будут справедливы, если правые части системы (4.1) кусочно-непрерывны. Можно также снять требования непрерывности и дифференцируемости функции Ляпунова, заменив их другими требованиями, очевидным образом вытекающими из доказательств приведенных теорем. Более подробно эти вопросы разобраны в монографии Н. Н. Красовского [7]. В этой же монографии проведено фундаментальное исследование условий обратимости теорем Ляпунова, теорем 5.2 и 6.3, а также многих других теорем рассматриваемого метода.