Векторное дифференцирование.

При выводе соотношений (10.122) — (10.127) используется векторное дифференцирование. Напомним основные определения и правила векторного дифференцирования. Здесь, как всюду в этой главе, под вектором понимается вектор-столбец. Символ означает «равно по определению»:

1) производная вектора по скаляру

2) производная скаляра по вектору

3) производная вектора по вектору

Используя приведенные определения и обычные правила дифференцирования, нетрудно установить следующие правила векторного дифференцирования:

Q — симметричная -матрица, не зависящая от х.

Для получения соотношении воспользуемся методом динамического программирования. Уравнение Беллмана (10.65) и граничное условие (10.66) для задачи (10.120), (10.121) соответственно принимают вид

В уравнении (10.128) выражение в квадратных скобках есть квадратный трехчлен относительно векторного управления, и так как нет ограничения на управления, то он достигает минимума в стационарной точке. Поэтому уравнение (10.128) равносильно системе уравнений

В левой части (10.131) стоит производная по управлению от левой части (10.130). Из уравнения (10.131) находим

Подставив это выражение в (10.130), получим

Решение последнего уравнения будем искать в виде квадратного трехчлена:

где — симметричная -матрица, являющаяся функцией времени; — векторная функция размерности — скалярная функция.

Используя то, что , если а — скалярное выражение уравнение (10.133) после подстановки квадратного трехчлена (10.134) преобразуют к виду

Приравняв в обеих частях полученного соотношения выражения при одинаковых степенях х, получим уравнения (10.123), (10.124), (10.127). Подставив квадратный трехчлен (10.134) в (10.132), получим оптимальный закон управления (10.122). Подставив его в (10.129), получим граничные условия

Квадратный трехчлен (10.134), если определяются из уравнений (10.123), (10.124) (10.127) при граничных условиях (10.135), является функцией Беллмана, причем эта функция является гладкой. Как легко проверить, выполняются все условия, при которых уравнение Беллмана является достаточным условием оптимальности, поэтому соотношения (10.122)-(10.125) действительно определяют оптимальный закон управления. Существование и единственность решения задачи синтеза оптимального нестационарного линейного регулятора состояния следует из существования и единственности решения уравнений (10.123), (10.124) при граничных условиях (10.125).

Осталось доказать равенство (10.126). Оно получается из определения функции Беллмана:

Уравнение (10.123) называется матричным уравнением Риккати. Оно является нелинейным, и в общем случае его не удается решить аналитически, если даже матрицы постоянны. Уравнение (10.124) является линейным и может быть решено только после того, как будет получено решение уравнения (10.123).

Матричное уравнение Риккати можно решить численным методом или путем моделирования в обратном времени начиная с момента При моделировании (решении на аналоговой ЭВМ) вводится новая независимая переменная и уравнение (10.123) и граничное условие (10.125) преобразуются к виду

Заметим, что в силу симметричности матрицы К. уравнение (10.137) равносильно системе скалярных дифференциальных уравнений.

Получим решение задачи синтеза оптимального нестационарного линейного регулятора состояния, когда внешнее воздействие . В этом случае система из двух уравнений (10.124), (10.127) является однородной. Ее решением, удовлетворяющим нулевым граничным условиям, являются поэтому при оптимальный закон управления (10.122) принимает вид

где К — по-прежнему удовлетворяет матричному уравнению Риккати (10.123) при граничном условии (10.125). Соотношение (10.126), принимает вид

Оптимальные стационарные линейные системы. Рассмотрим теперь задачу синтеза оптимальной системы при интегральном квадратичном критерии оптимальности, когда матрицы постоянны, . В этом случае и уравнение объекта и критерий оптимальности принимают вид

Здесь принимается, что Q и R — положительно-определенные -матрицы соответственно. Требуется найти управление с обратной связью, при котором замкнутая система асимптотически устойчива и критерий оптимальности принимает минимальное значение. Эту задачу назовем задачей синтеза оптимального стационарного линейного регулятора состояния или коротко — стационарной задачей.

Решение стационарной задачи существует тогда и только тогда, когда пара стабилизируема. Оптимальное управление является линейной функцией от фазовых координат и имеет вид

где К — постоянная положительно-определенная матрица, определяемая из так называемого алгебраического уравнения Риккати:

При оптимальном управлении для любого справедливо равенство

Уравнение (10.141) имеет не одно решение. Но решение, удовлетворяющее критерию Сильвестра положительной определенности матрицы К

единственно.

Соотношения (10.140)-(10.142) получаются точно так же, как и аналогичные соотношения при решении нестационарной задачи. Только в этом случае функция Беллмана отыскивается в виде квадратичной формы где К — постоянная матрица.

Следует иметь в виду, что если является конечным, то, хотя матрицы являются постоянными, матрица К в оптимальном законе управления зависит от времени и находится из дифференциального уравнения Риккати.

Покажем, что стабилизируемость является необходимым и достаточным условием существования решения задачи синтеза оптимального стационарного линейного регулятора состояния. Необходимость очевидна. Действительно, стабилизируемость означает, что неуправляемая составляющая при Если это условие не выполняется, то фазовый вектор замкнутой системы при не будет с течением времени стремиться к нулю, так как управление и соответственно присоединение регулятора к объекту никакого влияния на неуправляемую составляющую не оказывают.

Чтобы доказать достаточность, нужно показать, что существует положительно-определенная симметричная матрица, удовлетворяющая алгебраическому уравнению Риккати, и что замкнутая система асимптотически устойчива. Представим критерий оптимальности в виде

При конечном имеем [см. (10.136) и (10.139)]

Функция Беллмана при фиксированных является функцией от причем функцией монотонно неубывающей. Действительно, если , то

так как под интегралом стоит неотрицательное выражение.

Покажем, что функция ограничена сверху. Так как объект стабилизируем, существует управление с обратной связью, при котором замкнутая система асимптотически устойчива.

При таком управлении выражение под знаком минимума в (10.144) сходится к конечному пределу при . Очевидно, этот предел является верхней границей функции Таким образом, как функция от является монотонно неубывающей и ограниченной функцией. Следовательно, существует предел этой функции при Из равенства

где справа от зависит только следует, что существует предел функции при причем этот предел, который обозначим не зависит от , т. е. от граничного условия

так как при Из этого равенства также следует, что матрица являющаяся единственным установившимся решением дифференциального уравнения Риккати, положительно определена, так как положительно определены матрицы Из (10.142) и (10.145) имеем

откуда получаем Таким образом, К является единственной положительно-определенной матрицей, удовлетворяющей алгебраическому уравнению Риккати.

Асимптотическая устойчивость замкнутой системы, по существу, доказана. Докажем ее еще с помощью прямого метода Ляпунова. Подставив управление (10.140) в уравнение объекта, получим уравнение замкнутой системы

Покажем, что функция Беллмана является функцией Ляпунова для замкнутой системы. Функция как было показано, является положительно-определенной. Ее полная производная по времени, вычисленная в снлу (10.146), равна

или с учетом алгебраического уравнения Риккати

Матрица является неотрицательно-определенной. Действительно, так как и соответственно положительно определены, то при произвольных Поэтому, если положить то Матрица Q положительно определена по условию. Следовательно, производная является отрицательно-определенной.

Пример 10.20.

В данном случае

В соответствии с (10.140) имеем

где коэффициенты должны удовлетворять уравнению (10.141):

или равносильной ему системе

которая имеет решения

Условию (10.143) удовлетворяет решение:

Пример. 10.21. .

В этом случае

Последние уравнения имеют решения

Чтобы матрица К была положительно-определенной, необходимо выполнить неравенства но последнее из неравенств соблюдается, если При задача не имеет решения. Это связано с тем, что объект неуправляем, и поэтому решение существует только при условии, что неуправляемая координата — в данном случае — асимптотически устойчива, что и имеет место при