ДОПОЛНЕНИЕ II. ВАРИАЦИОННЫЕ МЕТОДЫ В ЗАДАЧАХ ОБ ОПТИМАЛЬНОМ РЕГУЛИРОВАНИИ

1. Здесь мы кратко изложим некоторые результаты, относящиеся к так называемой теории оптимальных процессов. Эти результаты принадлежат Л. С. Понтрягину и его ученикам; они содержатся в монографии Л. С. Понтрягина, В. Г. Болтянского, Р. В. Гамкрелидзе и Е. Ф. Мищенко «Математическая теория оптимальных процессов». Рассмотрим связь этой теории с классическими вариационными задачами.

Нахождение для некоторой системы режима работы, наивыгоднейшего с той или иной точки зрения, приводит к математической задаче, которую можно сформулировать так.

Пусть закон изменения состояния некоторого объекта с течением времени дается системой дифференциальных уравнений

или в векторной форме

где — функции времени — функции, определенные и непрерывные для всех и всех принадлежащих некоторой фиксированной области -мерного пространства. Задав функцию (со значениями из 2), мы получим вместо системы (1) систему

которая при заданном начальном значении имеет некоторое определенное решение.

Функции

мы будем называть функциями управления. Задав эти функции на отрезке и начальное значение мы получим некоторую траекторию, т. е. решение системы (1).

Мы будем называть «управлением» совокупность функций отрезка и начальной точки . В соответствии с этим управление будет обозначаться символом

Пусть далее — некоторая функция, определенная вместе со своими частными производными

при всех и всех Каждому управлению U поставим в соответствие число

Таким образом, есть функционал, определенный на множестве управлений. Управление назовем оптимальным, если, каково бы ни было управление

переводящее данную точку в точку (т. е. такое, что соответствующая траектория ) удовлетворяет условию имеет место неравенство

Траекторию, отвечающую оптимальному управлению, назовем оптимальной траекторией.

Задача состоит в том, чтобы найти необходимые условия оптимальности управления (и соответствующей траектории).

Подчеркнем следующее. Говоря об оптимальности того или иного управления, мы предполагаем, что заранее фиксирован некоторый класс управлений; мы будем называть эти управления допустимыми. Здесь мы будем предполагать, что класс допустимых управлений состоит из всех кусочно-непрерывных ограниченных функций с разрывами первого рода, в каждый момент времени принимающих значения из области 2.

Важным частным случаем задач об оптимальном регулировании является тот случай, когда функционал (4) имеет вид

т. е. представляет собой время, за которое совершается переход из точки в точку Таким образом, здесь оптимальность означает переход из за возможно более короткое время.

2. Задача об оптимальном управлении тесно связана с традиционными задачами вариационного исчисления. Действительно, интеграл

можно рассматривать как функционал, зависящий от функций т. е. как функционал, определенный на некотором классе кривых в -мерном пространстве. Функции связаны уравнениями (1). Таким образом, мы имеем здесь задачу на условный экстремум с неголономными связями (см. по этому поводу гл. III, § 10). Граничные условия, состоящие в том, что искомая оптимальная траектория начинается в точке и кончается в точке означают, что в указанном -мерном пространстве допустимыми являются те кривые, концы которых лежат на двух -мерных плоскостях, определяемых заданными значениями координат

Мы видим, что задача об оптимальном регулировании представляет собой видоизменение задачи на условный экстремум. Особенность, характерная для задач об оптимальном регулировании, состоит в том, что заранее фиксируется определенный класс допустимых управлений, причем непрерывность функций управления, вообще говоря, не требуется, но предполагается, что они принимают значения, лежащие в некоторой фиксированной области.

Покажем, что простейшая вариационная задача в -мерном пространстве, в которой подынтегральное выражение не зависит явно от является частным случаем задачи об оптимальном регулировании.

Пусть функционал

требуется среди кривых, проходящих через точки

найти ту, на которой этот функционал достигает минимума.

Для того чтобы представить эту задачу как задачу об оптимальном регулировании, достаточно функционал (6) переписать в виде и

а в качестве системы (1) взять уравнения

3. Перейдем теперь к изложению условий, необходимых для того, чтобы данное управление (и отвечающая этому управлению траектория) было оптимальным.

Для этой цели присоединим к системе уравнений

еще одно уравнение

где — функция, определяющая тот функционал (4), который мы должны минимизировать. Одновременно начальные условия

мы дополним условием

Ясно, что если U — некоторое допустимое управление и — решение системы

отвечающее этому управлению и начальным условиям (9), (10), то

Итак, задача об оптимальном регулировании может быть сформулирована так: найти такое допустимое управление U, при котором

решение системы (11), удовлетворяющее начальным условиям (9), (10), давало бы возможно меньшее значение .

4. Принцип максимума. Для того чтобы сформулировать основное необходимое условие оптимальности, так называемый принцип максимума, будем, наряду с переменными рассматривать новые переменные которые будем считать подчиненными следующей системе дифференциальных уравнений

(ее называют системой, сопряженной системе (11).

Сформулируем основную теорему.

Теорема (принцип максимума). Пусть — такое допустимое управление, что отвечающая ему интегральная кривая системы (11), проходящая при через точку , удовлетворяет условиям

Положим

Если управление оптимально, то существует такая непрерывная вектор-функция

1) величины удовлетворяют системе уравнений

2) для всех t, величина

достигает максимума при

3) в момент выполнены соотношения

При этом, если удовлетворяют условиям 1) и 2), то функции переменного t на самом деле от t не зависят и тогда в условии 3) точку можно заменить любой другой.

5. Мы не будем приводить здесь доказательство принципа максимума (читатель найдет его в цитированных выше работах), а ограничимся лишь следующими замечаниями.

1°. Часто принцип максимума может быть использован как рецепт для построения оптимальной траектории, состоящий в следующем. Выберем для каждых фиксированных то значение при котором выражение

достигает максимума. Если этим требованием и определяется как однозначная функция от

то, подставив ее вместо и в уравнения (11) и (12), мы получим замкнутую систему уравнений с неизвестными функциями. Это и есть те уравнения, которым должна удовлетворять оптимальная траектория.

2°. С помощью функции

систему уравнений (11), (12) можно записать в виде

Эти уравнения по форме напоминают канонические уравнения Гамильтона. На самом деле они имеют иной смысл: уравнения Гамильтона образуют замкнутую систему, в которой число уравнений равно числу неизвестных, а уравнения (11), (12) содержат кроме неизвестные величины и и превращаются в замкнутую систему лишь при определенном выборе этих последних.

Для того чтобы в задаче об оптимальном регулировании получить уравнения гамильтоновского типа, их нужно писать не с помощью функции , а с помощью функции

3°. В простейшей задаче вариационного исчисления система (11), (12) или эквивалентная ей система (11). (12) вместе с условием максимальности функции представляет собой обычную систему уравнений Эйлера. Действительно, для простейшей задачи, записанной в виде

функция имеет вид

Система (11). (12) при этом перепишется так:

а условие максимальности дает:

т. е.

Отсюда получаем:

но это и есть не что иное, как система уравнений Эйлера, в которой

для приведения ее к системе уравнений порядка производная понята за новую искомую функцию.

4°. Мы уже встречались (см. Дополнение I) с тем, что всякий процесс распространения можно описывать двояко: или с помощью траекторий, по которым происходит распространение («лучи» в оптике), или с помощью движения фронта волны. Первый подход приводит к каноническим уравнениям Гамильтона или, как здесь, к уравнениям Эйлера, т. е. к системе обыкновенных дифференциальных уравнений, а второй — к уравнению Гамильтона — Якоби, представляющему собой уравнение с частными производными. Изложенный выше принцип максимума связан с рассмотрением траекторий, т. е. в этом смысле аналогичен методу канонических уравнений. Подход к задачам оптимального регулирования, аналогичный рассмотрению «фронта волны», развивался в работах Беллмана (см., например, Р. Беллман «Динамическое программирование»).

6. Укажем в заключение связь между принципом максимума и вейерштрассовским необходимым условием экстремума (см. гл. VI, стр. 149). Рассмотрим сначала задачу о нахождении минимума функционала

где

Для этого случая, как мы уже знаем, выражение

имеет вид

С другой стороны, с помощью уравнений (14) функционал (13) можно записать в виде

Функция Вейерштрасса для такого функционала имеет вид (см. гл. VI)

Из формул (15) и (16) получаем:

Если функция П достигает максимума при значениях являющихся внутренними точками области 2, то в этих точках

Так как, кроме того, — отрицательная константа, то в этом случае условие максимальности функции Н вдоль оптимальной траектории равносильно в силу равенства (17) условию

т. е. известному условию Вейерштрасса.

Если воспользоваться выражением функции Вейерштрасса для задач на условный экстремум (см., например, Блисс «Лекции по вариационному исчислению», стр. 264), то легко проверить, что соотношение

остается в силе и в случае условного экстремума, т. е., иначе говоря, для любой задачи об оптимальном управлении.

Из сказанного ясно, что в тех случаях, когда множество допустимых значений управляющих функций открыто (т. е. все его точки — внутренние), принцип максимума равносилен известному необходимому условию Вейерштрасса. Однако в тех случаях, когда оптимальное управление попадает на границу области 2, условие Вейерштрасса, вообще говоря, не выполняется, в то время как принцип максимума верен и в этом случае. Заметим, что принцип максимума содержит, в частности, иной, независимый от изложенного нами в гл. VI, вывод условия Вейерштрасса.