§ 2.7. Оптимизация с вычислением стохастических квазиградиентов

1. Описание вычислительного процесса определения оптимальных управлений проведем, разыскивая последние в классе векторов управления, которые при фиксированном векторе постоянны между моментами измерений:

Далее предполагаем, что существует цифровая модель (программа ЦВМ), процессы в которой описываются уравнением (1.7). Входом модели для интервала служат вектор начальных условий вектор управления и и реализация белого шума которая на этом интервале заменяется допредельной моделью белого шума ступенчатой функцией времени со случайными векторными ординатами, описанной в главе 1. Эти ординаты образуют случайный вектор размерности обозначаемый через Далее будет использоваться и случайный вектор, составленный из всех векторных ординат, образующих допредельный белый шум на отрезке

Численно интегрируя с шагом уравнение (1.7) от с учетом требования § 1.2 получим вектор

Как выбирать величину По-видимому, величина 6 может считаться приемлемой, если ее уменьшение, например, в два раза не вызовет заметного изменения первых двух моментов компонент случайных векторов

получаемых методом Монте-Карло при фиксированных

Фиксируя векторы и возмущая модель динамической системы различными реализациями допредельного белого шума, будем в моменты получать случайные векторы с условной плотностью вероятности Далее считаем, что конкретная реализация допредельного белого шума может быть занесена в память ЦВМ и подана на вход модели динамической системы любое число раз. Этим обеспечится возможность получать векторы при разных векторах и? но при одной и той же реализации случайного вектора

В существующей литературе описано много примеров применеиия метода стохастического программирования и его частного случая — метода стохастических аппроксимаций для решения задач управления, оценивания, распознавания [3], [52], [53]. Ниже этот метод применяется для определения векторных параметров минимизирующих средний риск путем последовательного численного решения рекуррентных уравнений

где узлы решетки, покрывающей определенные ранее области Если не учитывать рассмотренные выше ошибки многомерной линейной интерполяции, то из (2.79), (2.80) будут найдены функции минимальных условных рисков и векторы оптимальных управлений

Можно наметить несколько способов численной оптимизации управления, основанных на методе стохастического программирования.

2. Способ 1. Пусть

итерационный процесс, сходящийся к вектору и

величине определим алгоритмами

где

Для определения вектора стохастического квазиградиента по функции и вектора необходимо раз численно проинтегрировать от до уравнение (1.7) при фиксированном начальном векторе постоянном для данной итерации случайном векторе и различных векторных параметрах и. Начальнымц условиями для рекуррентных уравнений (2.82), (2.83) надо принять вектор и величину найденные для узла ближайшего к узлу Вектор и величина заносятся в память ЦВМ, после чего аналогичный вычислительный процесс производится для остальных узлов решетки области В результате для всей области будут найдены

Дальнейший вычислительный процесс проводится по аналогичной схеме. Пусть на предыдущем шаге в узлах решетки области определены и занесены в память ЦВМ векторы и величины Для различных векторов узлрв решетки области необходимо найти вектор минимизирующий величину

осреднетние проводится по случайным векторам возмущающим динамическую систему на

тервале Итерационный процесс, сходящийся к вектору и к величине определим алгоритмом

где

При определении вектора стохастического квазиградиента по и функции а также при определении необходимо, как видно из правых частей (2.86), (2.87), знать значения функции в точках х, не совпадающих, вообще говоря, с узлами решетки области Эти значения надо определять путем интерполяции по формуле (2.8). На каждом шаге итерационного процесса при фиксированных надо раз проинтегрировать от до уравнение (1.7) для определения векторов

Итерационный процесс при данном можно закончить, когда в процессе итераций начнет мало изменяться длина вектора, полученная в результате прохождения через цифровой фильтр случайных чисел Начальными условиями (2.86), (2.87) принимаем где узел, ближайший к узлу Вектор и величина заносятся в память ЦВМ.

3. Способ 2. Применяется при оптимизации управлений по терминальному критерию. Описанный выше способ 1 численного синтеза требовал на каждом шаге интегрирования (1.7) лишь на обычно малом интервале что является его достоинством. Однако в каждом узле решетки области надо не только провести численный синтез оптимального управления (найти

но и необходимо определить минимальный условный риск

Опишем способ, в котором ценой интегрирования уравнений (1.7) на отрезке удается отказаться от определения и йспользования величин На первом шаге синтеза, используя способ 1, находим векторы и заносим их в память ЦВМ. Пусть теперь на предыдущих шагах синтеза найдены и записаны в памяти ЦВМ векторы оптимальных управлений а в точке задан некоторый вектор и управления системой на интервале Так как вектор-функции определены ранее, то вектор получаемый численным интегрированием уравнений (1.7) на отрезке при условии будет функцией вектора и и случайного вектора ступенчатой случайной вектор-функции, являющейся одной из реализаций допредельной модели белого шума на отрезке Поэтому

Очевидно, что справедливо соотношение

где условный средний риск, получаемый при заданных векторах использовании найденных ранее оптимальных управлений на отрезке Поэтому вектор оптимального управления найдется из уравнения

методом стохастического программирования.

Алгоритм синтеза имеет вид

где

Для определения стохастического квазиградиента необходимо раз на интервале численно проинтегрировать уравнение (1.7) при фиксированном и постоянном для данной итерации случайном векторе . Последний заносится в память ЦВМ и используется во всех интегрированиях уравнения (1.7). Заметим, что получаемые при интегрировании на интервалах векторы не совпадают, вообще говоря, с узлами решетки областей следовательно, необходимо интерполировать занесенные в память ЦВМ вектор-функции