§ 2.8. Оптимизация терминального управления с вычислением стохастических градиентов

Описанный алгоритм оптимизации управления методом стохастического программирования (способ 1) основывался на определении вектора стохастического квазиградиента разностной формулой (2.89), в которую входят интерполированные значения функции условных рисков найденной на предыдущем шаге в узлах решетки области Теоретический анализ точности алгоритма, по-видимому, невыполним. Однако можно предположить, что с уменьшением величины А в (2.89) все более заметными станут ошибки определения стохастических квазиградиентов, вызываемые ошибками ЦВМ и ошибками интерполяции. Последние могут стать недопустимо большими, если векторы в правой части (2.89) находятся внутри одного и того же элементарного -мерного параллелепипеда решетки области

Аналогичную потерю точности можно ожидать в способе 2 при вычислении стохастических квазиградиентов по формуле (2.94). Если допустить гладкость функции в правой части (1.7) по то в формулах алгоритма стохастического программирования стохастический квазиградиент можно заменить стохастическим градиентом, определяемым численным интегрированием некоторой системы дифференциальных уравнений.

Рассмотрим вначале методику определения градиента по и функции Зафиксируем

реализацию случайной вектор-функции допредельной модели белого шума на интервале Наряду с уравнением (1.7) рассмотрим сопряженное уравнение

где матрица, у которой элемент, принадлежащий строке и столбцу. Пусть вектору и дано малое приращение Тогда соответствующее приращение удовлетворяет уравнению

где — матрица с элементами Из (2.95), (2.96) получим

Интегрируя (2.97) от 0 до получим, считая

Положим где вектор градиента функции Тогда

и, следовательно,

где вектор градиента по и функции вектор и на отрезке постоянен. Положив получим следующую методику определения вектора градиента используемого в алгоритме стохастического программирования:

1. В память ЦВМ заносится некоторая реализация на отрезке случайной ступенчатой функции численным интегрированием уравнения (1.7) от до при фиксированных определяются векторы и для моментов шаг интегрирования) заносятся в память ЦВМ.

2. Уравнение (2.95) численно интегрируется от до при условии фиксированном и занесенных ранее в намять ЦВМ функций векторы заносятся в память ЦВМ в моменты

3. Вектор градиента определяется путем вычисления векторного интеграла в правой части (2.99) при и использования занесенных в память ЦВМ векторных функций Вектор является стохастическим градиентом по и функции в смысле [25], так как, допустив перестановочность операций дифференцирования по и осреднения по случайному вектору , получим

Алгоритм (2.100) обеспечит сходимость почти наверное к вектору оптимального управления если коэффициенты удовлетворяют условиям (2.76) и функция выпукла вниз по и.

Для проведения последующих шагов численного синтеза надо в соответствии с уравнением (2.86) определять стохастические градиенты по и функций которые являются градиентами по и соответственно функций

Векторы этих градиентов определяются формулой вида (2.99), в которой последовательно положено а векторы определяются численным интегрированием от до от до сопряженного уравнения (2.95) при начальных условиях

где векторы градиентов по х функций Возможны два способа определения векторов этих градиентов по х. Способ 1 рассмотрим вначале применительно к задаче определения вектора используя на шаге вычислений наряду с алгоритмом (2.100) алгоритм (2.87). В результате в

узлах решетки области помимо векторов будут найдены и занесены в память ЦВМ величины на шаге вычислений (определение ) из уравнения найден вектор Вектор градиента определяется приближенно разностной формулой

где узел решетки области ближайший к точке числа, входящие в формулу (2.4), II орты В

Как уже отмечалось, формула вида (2.101) не дает систематических ошибок вычислений градиента, если функцию в окрестности точки можно аппроксимировать квадратичной функцией. Заметим, что вектор можно найти более точно, если по формуле (2.101) найти градиенты для всех вершин элементарного параллелепипеда, внутри которого лежит точка и провести интерполяцию.

По аналогичной методике определяются градиенты для последующих шагов численной оптимизации.

Рассмотрим способ 2 определения векторов градиентов не требующий применения разностных формул. Сделаем предварительное замечание. Уравнение (2.95) будем интегрировать раз от до 0 при векторах начальных условий, которые образуют единичную диагональную матрицу размерности При каждом интегрировании от до 0 получаем векторы , образующие фундаментальную матрицу линейного уравнения (2.95). Положим в (2.96), (2.97) , а в (2.97) вместо подставим . Тогда

и, следовательно,

так как Из (2.102) следует, что

где левая часть (2.103) означает матрицу, у которой строке и столбцу принадлежит элемент

Перейдем к определению градиента Дифференцируя по х, получим, используя (2.103) при

матрица получена -кратным интегрированием (2.95) при фиксированных

Образуем случайную последовательность векторов алгоритмом

где верхиий индекс в правой части (2.105) означает, что при интегрировании (1.7) и (2.95) положено Эта последовательность сходится почти наверное к вектору градиента Таким образом, на первом шаге численного синтеза наряду с определением производится «заготовка» для второго шага: определяются и заносятся в память ЦВМ компоненты вектора Методика определения векторов аналогична.

Из соотношения (2.91) следует, что

где матрица получена -кратпым интегрированием (2.95) от до при фиксированных Вектор был «заготовлен» на предыдущем шаге численного синтеза, если только х совпадает с одним из узлов решетки области В противном случае надо провести интерполяцию или считать, что где узел, ближайший к х. К вектору сходятся векторы определяемые алгоритмом

Итак, особенность изложенного способа 2 определения векторов градиентов состоит в том, что на шаге численного синтеза наряду с определением производится «заготовка» для следующего шага: определяются и заносятся в память ЦВМ градиенты