Глава 17. ДОСТАТОЧНЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ, УРАВНЕНИЕ ГАМИЛЬТОНА-ЯКОБИ И ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ

17.1. Достаточные условия оптимальности

Принцип максимума Понтрягина — универсальное и сильное необходимое условие оптимальности, однако теория достаточных условий оптимальности далеко не так полна. В этой главе мы рассмотрим подход к достаточным условиям оптимальности, обобщающий поля экстремалей классического вариационного исчисления.

Рассмотрим следующую задачу оптимального управления:

Зависящий от управления гамильтониан принципа максимума в нормальном случае равен

Предположим, что максимизированный гамильтониан

определен и гладок на Можно предполагать гладкость не всюду, а только на открытой области и соответственно модифицировать полученные далее результаты. Но для упрощения изложения мы будем считать, что Тогда траектории гамильтоновой системы

суть экстремали задачи Будем предполагать, что гамильтоново поле полно.

17.1.1. Интегральный инвариант.

Рассмотрим сначала общую конструкцию, которая сыграет ключевую роль при доказательстве достаточных условий оптимальности.

Зафиксируем произвольную гладкую функцию

График дифференциала есть гладкое подмногообразие в

Трансляции с помощью потока гамильтонова поля

суть гладкие n-мерные подмногообразия в а график отображения и

есть гладкое -мерное подмногообразие в Рассмотрим -форму

Напомним, что это тавтологическая -форма на а ее дифференциал есть каноническая симплектическая структура на В механике форма называется интегральным инвариантом на расширенном фазовом пространстве

Предложение 17.1. Форма точна.

Доказательство. Докажем сначала, что эта форма замкнута:

(1) Зафиксируем и рассмотрим ограничение формы на Имеем

так как Напомним, что поэтому

следовательно,

поэтому Мы доказали, что

(2) Многообразие С есть образ гладкого отображения

поэтому касательный вектор к С, трансверсальный многообразию есть

Поэтому

Для завершения доказательства подставим вектор в качестве первого аргумента в и покажем, что результат

равен нулю. Получаем

следовательно,

Мы доказали, что форма замкнута.

(3) Покажем, что эта форма точна, т. е.

для любой замкнутой кривой

Кривая 7 гомотопна кривой

Так как форма точна, то по формуле Стокса получаем

Но интеграл по замкнутой кривой 70 С С о вычисляется просто:

Равенство (17.6) доказано, т.е. форма точна.

17.1.2. Задача с закрепленным временем.

Докажем достаточные условия оптимальности для задачи

Теорема 17.1. Предположим, что ограничение проекции является диффеоморфизмом для всех

Тогда для любого нормальная экстремальная траектория

реализует строгий минимум функционала качества среди всех допустимых траекторий системы (17.1) с теми же граничными условиями

Замечания. (1) В условиях теоремы не требуется проверка существования оптимального управления.

(2) Если все предположения (гладкость продолжаемость траекторий поля на весь временной отрезок диффеоморфность ограничения выполняются в собственной открытой области то утверждение теоремы 17.1 можно модифицировать и получить локальную оптимальность траектории Мы оставляем эти модификации читателю в качестве упражнения.

Докажем теорему 17.1.

Доказательство. Кривая есть проекция нормальной экстремали

Пусть допустимое управление, максимизирующее гамильтониан вдоль этой экстремали:

С другой стороны, пусть допустимая траектория системы (17.1), порожденная каким-нибудь управлением и удовлетворяющая граничным условиям (17.7). Сравним значение функционала качества на парах и

Так как есть диффеоморфизм, траекторию можно поднять до гладкой кривой

Тогда

где

По предложению 17.1 форма точна. Поэтому интеграл формы по кривой зависит только от конечных точек этой кривой. Кривые и

Рис. 17.1. Доказательство теоремы 17.1

имеют одни и те же граничные точки (рис. 17.1), поэтому

Следовательно,

т. е. траектория оптимальна.

Осталось доказать, что пара доставляет строгий минимум, т.е. что неравенство (17.9) строгое.

Для фиксированной точки будем записывать кокасательные векторы как где суть координаты ковектора Гамильтонианы аффинно зависят от поэтому их максимум является выпуклым по Любой вектор такой, что

определяет опорную гиперплоскость к надграфику отображения

В силу гладкости по эта опорная гиперплоскость единственна, и максимум в (17.4) достигается на единственном касательном векторе. Если то неравенство (17.8) становится строгим так же, как и неравенство (17.9). Теорема доказана.

Достаточные условия оптимальности теоремы 17.1 даются в терминах многообразий которые в свою очередь определяются функцией а и потоком гамильтонова поля Оптимальность нормальной экстремальной траектории будет доказана, если удастся подобрать функцию для которой проекции суть диффеоморфизмы.

При проекция является диффеоморфизмом. Поэтому при малых любая функция порождает многообразия диффеоморфно проецирующиеся на по крайней мере в пределах любого компакта Таким образом получаем достаточные условия оптимальности для малых дуг экстремальных траекторий.

Следствие 17.1. Для любого компакта содержащего нормальную экстремальную траекторию

существует такое что дуга

оптимальна относительно всех траекторий, содержащихся в К и удовлетворяющих таким же граничным условиям.

Во многих задачах можно подобрать достаточно большой компакт так, чтобы функционал был отделен от нуля снизу на всех траекториях, покидающих К (так будет, например, если Тогда малые дуги траекторий оптимальны глобально.

17.1.3. Задача со свободным временем.

Для задач с интегральным критерием и свободным конечным временем справедливо достаточное условие оптимальности, аналогичное теореме 17.1; см. ниже теорему 17.2.

Напомним, что все нормальные экстремали в задаче со свободным временем лежат на поверхности нулевого уровня максимизированного гамильтониана Докажем сначала вспомогательное утверждение.

Предложение 17.2. Предположим, что есть регулярное значение ограничения для всех

Тогда отображение

является погружением, а точной формой.

Доказательство. Во-первых, регулярность нулевого значения отображения означает, что есть гладкое многообразие. Тогда точность формы легко следует из предложения 17.1. Чтобы доказать, что погружение, достаточно показать, что вектор не касается образа

пересечения при диффеоморфизме для всех Заметим, что Мы докажем немного больше, чем требуется, а именно, что не касается многообразия

Из предложения 17.1 следует, что Поэтому достаточно показать, что форма не обращается в нуль в точке

Напомним, что гамильтонов поток сохраняет как так и В частности,

Отображение обратимо. Поэтому достаточно показать, что не обращается в нуль в точке Но это утверждение — условие нашей теоремы.

Теперь получим достаточные условия оптимальности для задачи со свободным временем.

Теорема 17.2. Пусть такая область в что ограничение

является диффеоморфизмом на область в и пусть

есть такая нормальная экстремаль, что для всех

Тогда экстремальная траектория (вместе с соответствующим управлением реализует строгий минимум функционала среди таких допустимых траекторий, что для всех

Доказательство. Положим тогда отображение есть диффеоморфизм, а форма точна. Пусть есть допустимая траектория, порожденная управлением содержащаяся в и удовлетворяющая граничным условиям Тогда где такая гладкая кривая в С, что Получаем Далее,

Последнее равенство следует из того, что

С другой стороны,

Последнее неравенство следует из цепочки Более того, это неравенство становится строгим, если кривая не является решением уравнения т. е. если она не совпадает с Итак,

причем это неравенство строгое, если отлично от