11.6. НЕКОТОРЫЕ МНОГОПЕРИОДНЫЕ ЗАДАЧИ УПРАВЛЕНИЯ

Довольно просто обобщить «последовательно обновляемое» решение из параграфа 11.5 на случай управления регрессионной моделью для будущих периодов времени, причем . Допустим, что наши выборочные данные у и будущие наблюдения , где для генерируются стандартной нормальной линейной регрессионной моделью. Кроме того, допустим, что априорная информация относительно параметров представлена (11.27) и что функция потерь имеет вид

где является вектором, компоненты которого суть заданные целевые значения переменных. Будущие значения удовлетворяют уравнениям

где являются будущими установками значений управлений, еще подлежащими определению; нормальными и независимыми возмущениями, каждое из которых имеет нулевое математическое ожидание и общую дисперсию, равную

Применение подхода «последовательных обновлений» в настоящем случае ведет к установке значения представленному в (11.65 для первого будущего периода:

где нижний индекс «1» означает имеющиеся в нашем распоряжении и известные к началу первого будущего периода величины, т. е.

где

Для второго будущего периода мы имеем наблюдения за и знаем установку значения . Таким образом, вычислив и оптимизировав по компонентам как в (11.64) и (11.65), получим соответствующее значение

где нижний индекс «2» означает имеющиеся в нашем распоряжении и известные к началу второго будущего периода величины, т. е.

Для будущего периода мы имеем наблюдения и знаем установку значений для

Минимизируя по компонентам получаем

где

Таким образом, (11.89) для дает ряд «последовательно обновленных» значений для q контрольных векторов

Перейдем теперь к одной из нескольких многопериодных задач, рассмотренных Прескоттом [99]. Он изучил управление многомерной системой с авторегрессионными свойствами и получил аппроксимации адаптивных управляющих решений. Его приближенные решения принимают во внимание неопределенность относительно значений параметров и учитывают новую информацию по мере ее поступления. Как было отмечено выше, подобный подход является очень важным. Кроме того, для некоторых конкретных систем Прескотт применил метод Монте-Карло для вычисления средних потерь, связанных с его приближенными решениями, а также с некоторыми решениями типа «здесь и сейчас» или «линейное решающее правило», которые не учитывают неопределенность относительно значений параметров. Средние потери, связанные с приближенным, адаптивным управляющим решением Прескотта, оказываются существенно ниже потерь, связанных с решениями, не учитывающими неопределенности относительно значений параметров. Этот результат свидетельствует о важности учета неопределенности относительно значений параметров при решении задач управления, в частности, в случае, когда оценки параметров не являются достаточно точными.

Многомерная система, рассмотренная Прескоттом, имеет вид

где есть -мерный вектор-столбец зависимых или внутрисистемных переменных; вектор внутрисистемных переменных в момент времени есть -мерный вектор-столбец управлений; есть -мерный вектор-столбец независимых (или внесистемных) переменных, не являющихся управлениями; вектор-столбец случайных возмущений; являются матрицами коэффициентов. Время измеряется, начиная с обозначающего текущий период; первый будущий период; второй будущий период и так далее. Векторы возмущений предполагаются нормально и независимо распределенными, каждый из которых имеет нулевой вектор математических ожиданий и общую положительноопределенную симметрическую ковариационную матрицу.

Функция потерь для q будущих периодов по предположению имеет следующий вид:

где каждое является квадратичной формой компонент

По мере поступления новой информации мы получаем больше сведений относительно параметров (11.92). Для представления этого процесса «обучения» удобно переписать (11.92) в виде

где . В качестве априорной ФПВ для элементов А при Прескотт рассматривает, среди прочих, независимые многомерные нормальные ФПВ для строк матрицы А, т. е. если А; есть транспонированная строка матрицы А, то

где является априорным вектором математических ожиданий и априорной матрицей точности многомерной нормальной (MVN) априорной ФПВ в начале первого будущего периода. ФПВ в (11.95) имеет форму апостериорной ФПВ, основанной на Т выборочных наблюдениях , если исходная априорная ФПВ для элементов А является расплывчатой, а

ковариационная матрица для диагональной с известными элементами

После окончания первого будущего периода мы можем применить новую информацию для обновления априорной ФПВ в (11.95) с помощью теоремы Байеса. Получаем

где является апостериорной ФПВ для элементов А при заданной информации (обозначаемой через ), доступной в начале второго будущего периода при Во второй строке (11.96)

и

являются матрицей точности и вектором математических ожиданий соответственно для Ввиду того что апостериорные ФПВ являются нормальными, (11.97) и (11.98) могут быть обобщены по индукции, что дает

где являются матрицей точности и вектором математических ожиданий соответственно для многомерной нормальной ФПВ. Соотношения (11.99) и (11.100) могут быть использованы для обновления ФПВ для элементов по мере получения новых наблюдений.

Учитывая вышесказанное относительно модернизации априорной информации, обратимся к нашей основной проблеме последовательного выбора значений управляющего вектора для минимизации величины ожидаемых потерь при функции потерь,

приведенной в (11.93). Обозначим через минимальное значение ожидаемых потерь в периоды с t по q включительно. Иначе говоря,

Принцип оптимальности Беллмана утверждает: «Оптимальное управление (здесь последовательные правила выбора значений вектора управлений ) имеет то свойство, что независимо от начального состояния и начального управления, все последующие управляющие воздействия должны представлять собой оптимальное управление относительно состояния, полученного в результате первого управляющего воздействия».

Таким образом, используя этот принцип, мы можем для рассматриваемой задачи получать

при . Как видно из (11.102), оптимальная установка для w и оптимальные установки для будущих периодов определяются при условии, что все прошлые установки и выходы заданы вне зависимости от их значений. Таким образом, формальная процедура получения решения, представленная в (11.102), отражает принцип оптимальности.

В (11.102) мы имеем систему q функциональных уравнений, которые теоретически могут быть решены. Например, если

является квадратичной функцией по то значение w, минимизирующее (11.103), будет линейным относительно минимальное значение функции будет квадратичной формой от . Таким образом, используя (11.102), можно полностью определить функцию . Если значения элементов в матрице коэффициентов А известны с достоверностью, то (11.103) будет квадратичной по и w, и для анализа может быть применен описанный выше подход. Однако если некоторые или все элементы А неизвестны и должны быть оценены, то (11.103) не является квадратичной по и для получения решения необходима другая вычислительная процедура.

В развитие приближенного решения рассматриваемой задачи Прескотт рассматривает первое уравнение из (11.102):

Если имеет известную функциональную форму, то можно оценить ожидание в правой части (11.104) и найти минимизирующее значение для На самом деле это и было проделано выше для двухпериодной задачи (см. параграф 11.5, в частности (11.79) и последующий анализ). Однако для трех и более будущих периодов определение точной формы не представляется возможным. Поскольку рассматривается именно такой случай, Прескотт вводит функцию, аппроксимирующую При условии, что представляет информацию относительно неизвестных параметров для и что эта информация не обновляется для последующих периодов, мы можем определить минимальное значение ожидаемых потерь в периоды с t по q как Затем, используя принцип оптимальности, получаем

при . Если задана, система уравнений в (11.105) может быть разрешена ввиду того, что является квадратичной по . В терминах рассматривается как аппроксимация для

Значение для получается при минимизации

где зависит от . Так как зависит от первый член в (11.106) отражает влияние значения первого периода на потери в последующих периодах. Для получения практической вычислительной процедуры в случае систем средней и большой размерности вводится окончательная аппроксимация и (11.106) аппроксимируется с помощью

где является математическим ожиданием прогнозной ФПВ для обозначает априорную информацию при где вместо подставляют . Тогда (11.107) может быть минимизировано по элементам с помощью процедуры машинного перебора. В качестве удобного начального значения для . Прескотт предлагает взять значение для минимизирующее ожидаемые потери в случае, если бы априорная ФПВ для первого будущего периода никогда не обновлялась.

Ввиду того что решение Прескотта является приближенным, учитывающим неопределенность относительно параметров и показывающим, как текущие значения управлений влияют на будущие потери, интересно рассмотреть этот подход в сравнении с другими подходами. В связи с этим Прескотт использовал данные, генерируемые следующей

моделью:

где временной нижний индекс опущен, обозначает оператор первой разности, например индекс обозначает запаздывающую на один период переменную; например Ниже следуют определения переменных:

С — личный расход на потребление;

валовые частные инвестиции за вычетом расходов на новое строительство;

расходы на новое строительство;

совокупные валовые частные инвестиции;

государственные закупки товаров и услуг;

сальдо государственного бюджета (дефицит в случае, если отрицательно) по счету дохода и производства;

Т — налоговые поступления;

М — денежная наличность и бессрочные депозиты на середину года;

Р — дефлятор ВНП;

доходность -летних корпоративных облигаций, годовые проценты, умноженные на 10;

причем переменные измеряются в млрд. дол.;

— случайное возмущение

Было сделано допущение, что управлениями являются С и М. Все другие переменные, за исключением Р, являются внутрисистемными, а Р по допущению является внесистемной переменной. Случайные возмущения были получены независимой выборкой из нормальных распределений с нулевыми математическими ожиданиями и различной дисперсией для каждого из четырех возмущающих членов. Для генерирования данных примем допущение, что уровень внесистемных цен растет на 2% в год в течение -летнего «выборочного периода» и на 1,5% в течение восьми лет «будущего планового

периода». Далее, ввиду того что для генерирования данных требовалась информация относительно Прескотт употребил следующие зависимости:

где являются независимо и нормально распределенными возмущениями с нулевыми математическими ожиданиями и единичными дисперсиями. В отношении вида функции потерь, отражающей цели полной занятости, быстрого экономического роста и стабильности цен, было сделано допущение

где являются заданными оптимальными или целевыми значениями переменных в момент . В (11.109) мы имеем восьмикратный плановый горизонт, для которого первым будущим периодом является 1965 г. Некоторые вычисления были проделаны для четырехлетнего планового периода с 1965 по 1968 гг. Учитывая данные, полученные для «выборочного» периода с 1953 по 1964 г., лицо, принимающее решение (ЛПР), должно было выбрать значения УИ и О на 1965 г., а далее действовать, выбирая на основе, последовательно расширяющихся выборок, с учетом данных, полученных за 1965 г., значения на 1966 г. и так далее. Ниже рассматриваются несколько решающих правил решения, предложенных Прескоттом:

1. Линейные решающие правила (ЛРП). Приведенная форма системы (11.108) оценивается на основе генерируемых данных классическим методом наименьших квадратов. Считается, что оценки параметров равны истинным значениям параметров и математическое ожидание (11.109) минимизируется с целью получения значений для установки

Линейные решающие правила (ЛРП-I и ЛРП-II). Для оценивания параметров структурных уравнений используется 2 МНК. Если оценка коэффициента при ДМ в уравнении потребления имеет «ошибочный» априори алгебраический знак, то соответствующая переменная удаляется из уравнения. Оценки коэффициентов приведенной формы получаются из структурных коэффициентов и считаются равными истинным значениям коэффициентов приведенной формы. Описанная выше в (1) процедура применяется затем для получения установок М и G. ЛРП-II является тем же, что и но не выполняется «проверка на знак».

3. Адаптивные решающие правила (АРП). Система (11.108) имеет вид (11.92) и управляющее решение АРП является приближенным решением, предложенным Прескоттом. Начальная (1953 г.) априорная ФПВ для параметров является расплывчатой. Кроме того, делается допущение, что дисперсии возмущений равны их соответствующим выборочным оценкам. Эта аппроксимация в приложениях может быть ослаблена.

4. Адаптивные решающие правила . В процедуре ЛПР устанавливает значения М и G в период используя доступную в этот период информацию; но при этом априорные ФПВ в последующие периоды времени не обновляются. есть то, что мы называли подходом «последовательных обновлений».

5. Решающее правило с использованием совершенной информации (РПСИ). Это правило принятия решений предполагает минимизацию ожидаемых потерь при использовании функции потерь вида (11.109) в условиях, когда ЛПР знает истинные значения параметров модели, применяемой для генерирования данных. Конечно, на практике эти значения неизвестны и должны быть оценены. Однако интересно сравнить результирующие потери, связанные с решением, полученным при этом условии, с потерями, связанными с применением решающего правила, исходящего из условия, что параметры неизвестны и должны быть оценены.

В табл. 11.7 представлены потери, полученные экспериментально при условии различных решающих правил и нескольких массивов данных, генерированных указанным выше способом. В заключение Прескотт отмечает, что «процедура с применением адаптивного решающего правила дает в каждом случае результаты, лучшие, чем при ЛРП. Это ясно указывает на превосходство нашего метода в данном примере» [99, с. 93]. Во многих случаях превосходство оказывается значительным. Прескотт подчеркивает, что АРП дает лучшие результаты для четырехлетнего планового периода, в то время как дает несколько лучшие результаты для восьмилетнего планового периода. При обсуждении этого различия он указывает, что в случае АРП для большого горизонта планирования эта процедура приводит к чрезмерной опоре на эксперимент. Прескотт отметил возможность использования подвижного горизонта в три или четыре периода в связи с его процедурой получения приближенных решений.

Результаты табл. 11.7 показывают необходимость быть чрезвычайно осторожным в определении «оптимальных» установок управлений, в особенности когда выборочная информация не является достаточно обширной. Кроме того, необходимо отметить, что рассмотренные экономические модели и функции потерь, подобные представленным

Таблица 11.7. Потери, связанные с различными решающими правилами и массивами генерированных данных

(см. скан)

в (11.109), являются приближениями. Дальнейшие исследования и эксперименты с приложением полученных результатов представляются необходимыми для получения обоснованного вывода о пригодности адаптивных методов управления в качестве вспомогательного средства при разработке макроэкономической политики.