Еще более частным случаем задачи трех тел, занимающим значительное место в новейших исследованиях, является так называемая ограниченная задача трех тел.

Два тела $S$ и $J^1$ движутся по круговым траекториям вокруг их общего центра тяжести $O$ под действием сил взаимного притяжения. Третье тело $P$, не обладающее массой, т. е. такое тело, которое само притягивается телами $S$ и $J$, но не влияет на их движение, движется в той же плоскости, что и $P$ с $J$. Ограниченная задача трех тел заключается в определении движения тела $P$, так называемого планетодда.
Обозначим через $m_1$ и $m_2$ массы $S$ и $J$. Положим:
$$F=\frac{m_1}{SP}+\frac{m_2}{JP}.$$

В плоскости движения выберем неподвижные прямоугольные оси $Ox$ и $Oy$, выходящие из точки $O$. Пусть $P$ имеет координаты $X,Y$ и компоненты скорости $U$ и $V$. Уравнениями движения тела $P$ будут:
$$\frac{d^{2}X}{d{t}^2}=\frac{\partial F}{\partial X},\frac{d^{2}Y}{d{t}^2}=\frac{\partial F}{\partial Y}$$
${}^1$ Обозначения $S$ и $J$ взяты потому, что вся эта теория имеет своей целью исследование движения планеты очень малой массы, находящейся под действием Солнца и Юпитера, причем действием остальных планет и отклонением Солнца и Юпитера от кругового движения пренебрегается.

или в гамильтоновой форме:
$$\frac{dX}{dt}=\frac{\partial H}{\partial U},\frac{dY}{dt}=\frac{\partial H}{\partial V},\frac{dU}{dt}=-\frac{\partial H}{\partial X},\frac{dV}{dt}=-\frac{\partial H}{\partial Y},$$

где
$$H=\frac{1}{2}(U^2+V^2)-F.$$

Так как $F$ есть функция не только от $X$ и $Y$, но также и от $t$, то уравнение $H$ = const не является интегралом системы.

Преобразуем переменные при помощи контактного преобразования, определяемого уравнениями:
$$X=\frac{\partial W}{\partial U},Y=\frac{\partial W}{\partial V},u=\frac{\partial W}{\partial x},v=\frac{\partial W}{\partial y}$$

где
$$W=U(x\cos nt-y\sin nt)+V(x\sin nt+y\cos nt),$$

а $n$ — угловая скорость прямой $SJ$. Уравнения движения переходит в
$$\frac{dx}{dt}=\frac{\partial K}{\partial u},\frac{dy}{dt}=\frac{\partial K}{\partial v},\frac{du}{dt}=-\frac{\partial K}{\partial x},\frac{dv}{dt}=-\frac{\partial K}{\partial y},$$

где (§ 138)
$$K=H-\frac{\partial W}{\partial t}=\frac{1}{2}(u^2+v^2)+n(uy-vx)-F.$$

Нетрудно видеть, что $x$ и $y$ суть координаты планетоида относительно подвижной системы координат, выбранной таким образом, что ось $x$ направлена по прямой $OJ$, а ось $y$ по перпендикуляру, опущенному к ней из точки $O.F$ является теперь функцией только от $x$ и $y$, следовательно, $t$ явно не входит в $K$, и уравнение
$$K=\text{ const }$$

есть интеграл системы. Этот интеграл называется якобиевым интегралом ${}^1$ ограниченной задачи трех тел.

Мы можем уравнениям движения придать другую форму, если сделаем еще одно контактное преобразование:
$$x=\frac{\partial W}{\partial u},y=\frac{\partial W}{\partial v},p_1=\frac{\partial W}{\partial q_1},p_2=\frac{\partial W}{\partial q_2},$$

где
$$W=q_1(u\cos q_2+v\sin q_2).$$
${}^1$ Jacobi, Comptes Rendus, т. 3, стр. 59, 1836.

Новые переменные определяются непосредственно уравнениями:
$$q_1=OP,q_2=POJ,p_1=\frac{d}{dt}(OP),p_2=O{P}^2\frac{d}{dt}(POX),$$

и уравнения движения переходят в
$$\frac{d{q}_r}{dt}=\frac{\partial H}{\partial p_r},\frac{d{p}_r}{dt}=-\frac{\partial H}{\partial q_r}(r=1,2),$$

где
$$H=\frac{1}{2}(p_1^2+\frac{p_2^2}{q_1^2})-n{p}_2-F.$$

Другую форму ${}^1$ эти уравнения примут, если мы их преобразуем при помощи контактного преобразования, определяемого уравнениями:
$$p_r=\frac{\partial W}{\partial q_r},q_r^{\prime }=\frac{\partial W}{\partial p_r^{\prime }}(r=1,2)$$

где
$$W=p_2^{\prime }{q}_2+{\int }_{p_1^{\prime }\{p_1^{\prime }-{(p_1^{\prime 2}-p^{\prime 2})}^{\frac{1}{2}}\}}^{q_1}{\{-\frac{{p^{\prime }}_2^2}{u^2}+\frac{2}{u}-\frac{1}{{p^{\prime }}_1^2}\}}^{\frac{1}{2}}du,$$

где $u$ означает переменную интегрирования. Эти уравнения (для контактного преобразования) могут быть написаны также и в таком виде:
${}^1$ Эта форма уравнений дана Пуанкаре в «Methodes Nouvelles de la Mec Celeste».

Нетрудно показать, что $q_1^{\prime }$ есть средняя аномалия планетоида на эллипсе, который он описал бы вокруг неподвижного тела с массой 1 , помещенного в точке $O$, если бы ему (планетоиду) в его мгновенном положении была сообщена его мгновенная скорость $q_2^{\prime }$ есть измеряемая от $OJ$ долгота линии апсид этого эллипса; $p_1^{\prime }$ равно $a^{\frac{1}{2}},p_2^{\prime }$ равно ${\left\{a(1-e^2)\right\}}^{\frac{1}{2}}$, где $a$ — большая полуось эллипса, а $e$ его эксцентриситет. Так как $H$ не содержит явно времени, то $H=$ const есть интеграл уравнений движения, которые имеют теперь вид:
$$\frac{d{q}_r^{\prime }}{dt}=\frac{\partial H}{\partial p_r^{\prime }},\frac{d{p}_r^{\prime }}{dt}=-\frac{\partial H}{\partial q_r^{\prime }}(r=1,2).$$

Полагая сумму масс тел $S$ и $J$ равной единице и обозначая эти массы соответственно через $1-\mu$ и $\mu$, будем иметь:
$$H=\frac{1}{2}(p_1^2+\frac{p_2^2}{q_1^2}-n{p}_2-\frac{1-\mu }{SP}-\frac{\mu }{JP}).$$

Эта аналитическая относительно $p_1^{\prime },p_2^{\prime },q_1^{\prime },q_2^{\prime },\mu$ функция будет периодической относительно $q_1^{\prime }$ и $q_2^{\prime }$ с периодом $2\pi$. Чтобы найти в $H$ член, не зависящий от $\mu$, положим $\mu =\mathbf{0}$. Так как при этом $SP$ делается равным $q_1$, то
$$H=\frac{1}{2}(\frac{2}{q_1}-\frac{1}{{p^{\prime 2}}_1^2})-n{p}_2^{\prime }-\frac{1}{q_1}=-\frac{1}{2{p_1^{\prime }}_1^2}-n{p}_2^{\prime }.$$

Если теперь опять опустить штрихи, то уравнения движения ограниченной задачи трех тел могут быть написаны в виде:
$$\frac{d{q}_r}{dt}=\frac{\partial H}{\partial p_r},\frac{d{p}_r}{dt}=-\frac{\partial H}{\partial q_r}(r=1,2),$$

где $H$ может быть разложена в ряд:
$$H=H_0+\mu H_1+{\mu }^2{H}_2+\cdots ,$$

в котором
$$H_0—\frac{1}{2p_1^2}-n{p}_2,$$

а $H_1$ и $H_2$ суть некоторые периодические относительно $q_1$ и $q_2$ функции с периодом, равным $2\pi$.

Уравнения этой системы четвертого порядка могут быть приведены к системе Гамильтона второго порядка при помощи интеграла энергии $H=$ const и исключения времени.