Согласно теореме Лагранжа положение равновесия системы устойчиво, если в этом положении силэвая функция имеет максимум. Наоборот, согласно теореме Ляпунова положение равновесия будег неустойчиво, если в этом положении силовая функция имеет минимум, и этот минимум определяется совокупностью членов наинизшего измерения в разложении силовой функции.

Исследуем теперь вопрос об устойчивости равновесия, когда силовая функция в положении равновесия не имеет ни максимума, ни минимума. Ограничимся при этом рассмотрением того частного случая, когда силовая функция $U$ является формой какого-нибудь порядка $m$, так что
$$U=U_m(q_1,\dots ,q_n).$$

Дифференциальные уравнения возмущенного движения примем, как и в $\mathrm{\S }14$, в форме (14.1). Рассмотрим функцию
$$V=-H\sum _{i=1}^n{p}_i{q}_i\text{. }$$

Так как по условию форма $U_n$ при $q_1=\dots =q_n=0$ не имеет максимума, то эта форма необходимо может принимать положительные значения. Отсюда следует, что в окрестности начала координат пространства $2n$ переменных $q_i,p_i$ необходимо существует область, где
$$-H=-T+U_m>0,$$

причем в этой области $U_m>0$, так как $-T⩽0$. Назовем областью $C$ ту часть области (17.2), в которой выполняется условие
$$\sum _{i=1}^n{p}_i{q}_i>0$$

На основании (17.1) в области $C$ выполняется неравенство $V>0$, а на границе ее, где, очевидно, либо $\sum p_i{q}_i=0$, либо $H=0$, функция $V$ обращается в нуль.

Составим выражение производғой $\frac{dV}{dt}$. Повторяя выкладки $\mathrm{\S }14$ и принимая во внимание, что $\frac{dH}{dt}=0$, найдем:
$$\frac{dV}{dt}=-H\{\sum _{\alpha ,\beta =1}^n{a}_{\alpha \beta }{p}_{\alpha }{p}_{\beta }+\sum _{\alpha ,\beta =1}^n(A_{\alpha \beta }-\sum _{s=1}^n{q}_s\frac{\partial A_{\alpha \beta }}{\partial q_s})p_{\alpha }{p}_{\beta }\}-mH{U}_m.$$

Выражение, стоящее в фигурных скобках, как было показано в $\mathrm{\$}14$, может принимать только положительные или равные нулю значения. Величина $U_m$, как указывалось выше, может принимать в области $C$ только положительные значения. Отсюда следует, что в области $C$ выполняется условие $\frac{dV}{dt}>0$. Таким образом, функция $V$ удовлетворяет всем условиям теоремы Н. Г. Четаева, откуда вытекает неустойчивость исследуемого положения равновесия. Следовательно, имеет место следующая теорема, установленная Н.Г.Четаевым ${}^1$ ).

Если в положении равновесия силовая функция не имеет максимума и эта функция является формой, то равновесие неустойчиво.