§ 1.6. Уравнения оптимизации при неполной информации о фазовых координатах. Принцип разделения

Найдем уравнения одтимизации стохдстического управления при поступлении в моменты времени статистической информации о фазовых координатах: -мерных векторов обратной связи

Ум, статистически связанных с векторами Последнее означает, что

В общем случае, по-видимому, невозможно построить рекуррентный процесс определения оптимальных векторов управления в виде

Кроме того, формула (1.40) описывает функцией увеличивающегося числа переменных, что делает нереальным ее использование при решении прикладных, задач управления.

Рекуррентные уравнения оптимизации и векторы оптимальных управлений в виде, крайней мере в принципе, пригодном для решения прикладных задач, удается получить при выполнении следующих условий:

1. Условная плотность вероятности носитель всей информации о векторе содержащейся в векторах измерений может быть представлена некоторой известной функцией от и вектора зависящего от

где Вектор совпадает с определяемым в математической статистике вектором достаточных статистик: на множестве векторов сохраняющем постоянным вектор распределение вектора остается постоянным. Если, например, условное распределение — нормальное, то компонентами служат компоненты вектора условного математического ожидания и элементы условной корреляционной матрицы В более сложном случае компонентами вектора могут быть, например, семиинварианты — коэффициенты разложения в степенной ряд логарифма характеристической функции условной плотности или квазимоменты — коэффициенты ее разложения в ряд по полиномам Эрмита многих переменных, ортонормированных относительно некоторой многомерной нормальной плотности вероятности.

2. При фиксированных векторах последовательность векторов является марковской:

Легко видеть, что (1.42) выполняется, если векторы определяются рекуррентными формулами

и в (1.2) — независимые случайные векторы (модель 1) или (модель 2). Действительно, в соответствии с (1.1)

где некоторая функция от и функционал от белых шумов возмущающих динамическую систему на интервале Тогда из (1.42), (1.2)

Но по условию (1.41) условное распределение зависит лишь от Отсюда следует (1.42). Формулы вида можно назвать алгоритмом рекуррентной фильтрации.

«Полнота» использования зафиксированной к моменту информации (векторов не уменьшится, если векторы искать не в виде (1.40), а в вцде

Равноценность (1.40) и (1.45) следует из (1.41).

Вывод рекуррентных уравнений оптимизации проведем вначале для терминального критерия. Из (1.41), (1.42) следует, что

где

Отсюда

Из (1.48) следует, что для минимизации можно использовать лемму 1.2, если положить функции в (1.24) соответственно равными Тогда получим, что оптимальные управления имеют вид

и определяются рекуррентными уравнениями

Минимальный средний терминальный риск определится формулой

Частный случай рекуррентных уравнений (1.50)-(1.52) (для линейных динамических систем) был получен в [81.

Найдем рекуррентные уравнения оптимизации при использовании общего критерия (1.4). При этом наряду с (1.47) учтем, что

и, следовательно,

Тогда получим

(см. скан)

где положено

Из леммы 1.2 следует, что векторы оптимального управления (1.49) определяются при последовательном решении рекуррентных, уравнений

(см. скан)

Минимальный средний риск определится формулой (1.53). Функция в дальнейшем называется условным средним риском, так как она представляет средний риск при управлении на отрезке с использованием векторов управлений и при условии, что в момент вектор достаточных статистик равен Эту функцию (как и введенную в § 1.5 функцию называют также функцией Веллмана.

Итак, показано, что выполнение условий 1, 2 для произвольных динамических систем, возмущаемых белыми (или дискретными белыми) шумами при измерениях векторов обратной связи со случайными независимыми векторами ошибок измерений, обеспечивает применимость так называемого «принципа разделения»: общий алгоритм оптимального дискретного стохастического управления делится на алгоритм обработки поступающей информации и алгоритм принятия решения (рис. 1.1).

Рис. 1.1.

Первый алгоритм должен последовательно определять векторы достаточных статистик в соответствии с рекуррентной формулой (1.42) и условные плотности вероятностей второй алгоритм должен строить векторы оптимальных управлений путем последовательного решения рекуррентных уравнений (1.55) -(1.57) при из (1.54).

Отметим, что для задачи стохастического управления линейными системами принцип разделения впервые был сформулирован в [60].