Проблема обоснования метода динамического программирования и достаточные условия оптимальности

Уравнение Беллмана как необходимое условие оптимальности получено при предположении, что функция Беллмана является гладкой (непрерывно дифференцируемой). Это допущение не вытекает из условия задачи оптимального управления и часто не выполняется, поэтому применительно к задачам оптимального управления метод динамического программирования требует обоснования, и в тех случаях, когда обоснования нет, метод динамического программирования может быть использован как эвристический прием. При определенных условиях метод динамического программирования дает достаточное условие оптимальности.

Пусть — гладкое решение уравнения Беллмана (10.65) при граничном условии (10.66) и функция вычисленная из условия

порождает единственную траекторию удовлетворяющую уравнениям и граничным условиям задачи (10.63), вдоль которой функция кусочно-непрерывна. Тогда функция является оптимальным управлением задачи (10.63).

Докажем это утверждение. В силу определения функции в каждой точке ее непрерывности справедливо равенство [см. (10.64)]

Проинтегрируем обе части по от до

откуда с учетом условия (10.66) и равенства находим

Рассмотрим допустимую пару где — произвольное допустимое управление. В силу определения функции справедливо неравенство

Интегрируя обе части вдоль траектории , получим

или с учетом условия (10.66) и равенства

Из этого неравенства следует [см. также (10.69)], что при критерий оптимальности принимает минимальное значение. Следовательно, управление является оптимальным.

В том случае, когда функция Беллмана является негладкой, достаточное условие оптимальности дает теорема В. Г. Болтянского. В ее формулировке используется понятие кусочно-гладкого множества. Определение этого понятия дается в [4, 7]. Здесь только отметим, что всякая замкнутая гладкая поверхность размерности, меньшей является кусочногладким множеством в Напомним, что гладкой поверхностью или гладким многообразием размерности в пространстве называется множество точек, удовлетворяющих системе уравнений

где — гладкие функции и их градиенты линейно независимы.

Теорема Болтянского: пусть существует непрерывная функция обладающая непрерывными производными по всем своим аргументам и удовлетворяющая

уравнению Беллмана (10.65), всюду на прямом произведении кроме точек кусочно-гладкого множества М размерности, меньшей при эта функция подчиняется граничному условию (10.66). Допустимая для задачи (10.63) пара удовлетворяющая почти всюду на уравнению Беллмана, является ее решением.

На основании теоремы Болтянского можно рекомендовать следующий порядок решения задач оптимального управления [71. Выписывается уравнение Беллмана. Находятся функции, удовлетворяющие этому уравнению в различных областях пространства где производные этих функций непрерывны. Далее, если удается непрерывно «склеить» полученные функции, то «склеенная» функция, как правило, и есть искомая функция Беллмана. Чтобы убедиться в этом, нужно проверить, является ли множество, где производные найденной функции разрывны, кусочно-гладким.