17.3. Динамическое программирование

Уравнение Гамильтона-Якоби для оптимального качества можно вывести и непосредственно, минуя принцип максимума Понтрягина благодаря идее, восходящей еще к Гюйгенсу и составляющее основу

метода динамического программирования Беллмана; см. [3]. Для этого необходимо предположить, что оптимальное качество существует и -гладко.

Пусть оптимальная траектория переводит точку в точку за время Применим постоянное управление и на временном отрезке и обозначим траекторию, выходящую из точки через Так как конечная точка допустимой траектории, начинающейся в то выполняется следующее неравенство для оптимального качества:

Разделим на

и перейдем к пределу при

Получаем неравенство

Пусть теперь есть оптимальная пара. Пусть точка Лебега управления и. Возьмем любое Любой участок оптимальной траектории оптимален, поэтому есть конечная точка оптимальной траектории, так же, как и Поэтому оптимальное качество удовлетворяет равенству

Повторяем наши рассуждения:

переходим к пределу

Это равенство вместе с неравенством (17.14) означает, что

Обозначим

и запишем (17.15) как уравнение Гамильтона-Якоби:

Получаем, что производная оптимального качества равна импульсу вдоль оптимальной траектории

Мы не касаемся здесь обширной теории обобщенных негладких решений уравнения Гамильтона-Якоби для гладких и негладких гамильтонианов