11.5. ДВУХПЕРИОДНАЯ ЗАДАЧА УПРАВЛЕНИЯ Б СЛУЧАЕ МНОЖЕСТВЕННОЙ РЕГРЕССИОННОЙ МОДЕЛИ

Займемся теперь задачей нахождения значений независимых переменных в случае, когда зависимые переменные должны быть как можно ближе к своим целевым значениям не для одного, а для нескольких будущих периодов. Эта задача — обеспечение оптимального управления для нескольких будущих периодов — добавляет новые аспекты к нашему анализу. Как признано в литературе, многопериодные задачи управления связаны с соображениями обучения на эксперименте и планирования эксперимента, а именно: по мере нашего продвижения в будущее мы получаем больше выборочной информации, что дает нам возможность улучшать наши знания о значениях неизвестных параметров. Этот процесс обучения зависит от установки значений управления, т. е. от планирования эксперимента. Ниже мы убедимся, что решение многопериодной задачи управления обеспечивает получение оптимальной последовательности действий, которая в явном виде учитывает управление, обучение и планирование эксперимента. Ввиду того, что представленные в решении будущие действия связаны с адаптацией к новым данным по мере их поступления, многопериодную задачу часто называют задачей адаптивного управления.

Чтобы конкретизировать вышеуказанные соображения, рассмотрим двухпериодную задачу. Наша модель для объяснения наблюдений имеет вид

где есть матрица наблюдений за управлениями размерности и ранга является -мерным вектор-столбцом неизвестных коэффициентов и — Т-мерным вектор-столбцом нормальных возмущений с нулевыми математическими ожиданиями и ковариационной матрицей, равной

Вектор будущих наблюдений, генерируется, в соответствии с нашими допущениями, с помощью модели

где является матрицей размерности будущих значений управления, обозначает вектор будущих возмущений, независимо и нормально распределенных, с нулевыми математическими ожиданиями и общей дисперсией, равной независимых также и от .

Если мы воспользуемся априорной ФПВ для элементов и v, то, как показано в 3-й главе, прогнозная ФПВ для будет двумерной -ФПБ Стьюдента:

где

Пусть функция потерь имеет вид

где являются заданными целевыми значениями для будущих периодов 1 и 2 соответственно. Тогда наша задача заключается в построении процедуры определения значений и минимизирующих ожидаемые потери. Рассмотрим несколько возможных подходов к решению этой задачи.

Подход I. Принятие решения типа «здесь и сейчас». С помощью ФПВ в (11.59) вычислим математическое ожидание функции потерь в (11.60), а затем минимизируем его относительно компонент . Такой тип решения, известный под названием «здесь и сейчас», является удовлетворительным, когда исходя из некоторых соображений мы должны объявить наши фактически устанавливаемые значения для обоих управлений в начале первого будущего периода. Издержки, связанные с требованием объявить значения для и в начале периода заключаются в следующем:

1) мы не можем использовать информацию, получаемую в результате реализации для установки оптимального значения ;

2) мы не можем учитывать, как выбор будет воздействовать определение оптимального значения

Однако поскольку есть ситуации, в которых решение типа «здесь и сейчас» является необходимым (в том числе и для сопоставления),

интересно его получить. Мы имеем

Тогда оптимальные значения для определяются следующим образом:

Подставляя эти значения в (11.61), получаем ожидаемые потери где . Как было отмечено выше, решение для каждого будущего периода полностью аналогично решению, представленному в параграфе 11.2 для случая однопериодной проблемы.

Подход II. Принятие решения путем «последовательного обновления». Используем ФПВ (11.59) для вычисления и

минимизации по компонентам . Эта процедура обеспечит получение значения для . Далее, после завершения первого периода и получения применим для вычисления и минимизации по компонентам . При этом значение определяется без учета его воздействия на определение и с этой точки зрения получаемое решение не является оптимальным. Однако в противоположность решению типа «здесь и сейчас», «последовательно обновляемое» решение принимает во внимание при определении значения информацию, полученную в момент времени и, как мы убедимся позднее, является хорошей аппроксимацией оптимального решения задачи.

При последовательно обновляемом решении для первого будущего периода имеем

и

Значение из (11.65) в точности совпадает со значением при решении типа «здесь и сейчас».

Для периода мы принимаем во внимание и новое наблюдение . Иначе говоря, мы берем математическое ожидание по при заданном . Это дает

где

где является матрицей моментов независимых переменных в начале периода; в (11.68) есть оценка метода наименьших квадратов, вычисленная на начало периода; содержит сумму квадратов остатков на начало периода.

Минимизируя (11.66) по компонентам получаем

что отличается от значения в подходе I, приведенного в (11.62), тем, что (11.70) включает информацию, относящуюся к периоду в то время как в (11.62) получено без учета этой информации. Далее, ввиду того, что зависит от он не может быть получен до завершения периода и наблюдения

Подставляя (11.70) в (11.66), мы получаем, что ожидаемые потери в период определяемые условно при заданных равны:

Поскольку правая часть (11.71) зависит от можно получить приближенное математическое ожидание с помощью прогнозной ФПВ для Получаем

Если мы теперь подставим , где задается (11.65), то получим ожидаемые потери для второго будущего периода. Проделав указанную подстановку как в (11.64), так и в (11.72), получаем, что

общие ожидаемые потери для двух периодов в случае последовательно обновляемого решения приблизительно составляют

где . Сравнивая (11.73) и (11.63), выражение для ожидаемых потерь, связанных с решением типа «здесь и сейчас», можно увидеть, что два первых члена в (11.73) тождественны двум первым членам в (11.63). Последний член в (11.73) показывает снижение ожидаемых потерь, связанное с использованием информации периода при определении значения для

Подход III. Адаптивное принятие решения. Опишем адаптивную процедуру управления для получения решения двухпериодной задачи.

Шаг 1. Предположим, что мы находимся в начале второго будущего периода, и применяем условную прогнозную ФПВ для при заданных и заданной информации выборки для вычисления

Необходимо подчеркнуть, что (11.74) справедливо для любого значения, принимаемого и для любого значения, задаваемого для

Шаг 2. Минимизируем выражение (11.74) по компонентам . Если мы обозначим через решение этой задачи, то получим

Из (11.75) следует, что зависит от еще не наблюденного значения от еще не определенного значения и от заданной информации выборки 3.

Шаг 3. Подставим в (11.74), где задается (11.75). Это приведет к выражению

являющемуся функцией и заданной информации выборки.

Шаг 4. Найдем математическое ожидание (11.76) по для получения

Шаг 5. Минимизируем (11.77) по компонентам для получения оптимального значения равного которое определяется следующим образом:

Отсюда видно, что зависит только от заданной информации выборки и, следовательно, может быть вычислено в начале первого будущего периода.

Оптимальное значение для в (11.78) учитывает, как будущая информация относительно будет использована при оптимизации во втором будущем периоде и как значение для первого периода будет влиять на действия во втором будущем периоде. Кроме того, значение во втором периоде, приведенное в (11.75), включает всю информацию выборки, доступную к началу периода, т. е. где есть оптимальная установка значения

Вернемся сейчас к вопросу получения адаптивного решения в случае двухпериодной, регрессионной задачи управления с функцией потерь, заданной (11.60), и прогнозной ФПВ, заданной (11.59). Специализируя шаг 1, представленный (11.74), получаем

где было использовано выражение (11.66) и где статистики были определены в (11.67), (11.68), (11.69). Шаг 2 включает минимизацию (11.79) по компонентам Получаем

Ввиду того, что зависят от получается, что является функцией этих статистик и не может быть вычислено до тех пор, пока не будет в наличии значения этих статистик.

На шаге 3 мы подставляем (11.80) в (11.79) и получаем

выражение, являющееся функцией

Шаг 4 включает вычисление математического ожидания в (11.81) по Эти вычисления приведут к следующим приближенным результатам:

где

На шаге 5 мы минимизируем (11.82) по компонентам чтобы получить значения для первого периода. Эти вычисления приводят к следующему результату:

где . Отсюда видно, что при стремится к т. е. к значению для первого периода, совпадающего в случае подходов «здесь и сейчас» и «последовательного обновления» (см. (11.62) и (11.65)). Множитель в правой части (11.83) обеспечивает модификацию для учета влияния значения управлений, установленных в первом периоде, на информацию о неизвестных параметрах, используемую при решении двухпериодной задачи.

Наконец, мы можем подставить (11.83) в (11.82) и получить следующее выражение для ожидаемых потерь при заданных приближенных оптимальных установках значения

где и члены порядка отброшены. Сравнивая ожидаемые потери в (11.84) с потерями в случае последовательно обновляемого решения в (11.73), можно увидеть, что первые два члена тождественны. Третий член отличается, и ожидаемые потери в (11.84)

меньше. Разница в присутствующих членах, однако, связана также с разницей в членах порядка , хотя, последние во многих случаях будут малы.

В табл. 11.6 некоторые из полученных результатов сведены вместе.

Таблица 11.6. Установки управлений для первого периода и ожидаемые потери двух периодов при различных управляющих решениях

Основное достоинство полученных решений заключается в возможности их практического использования. Кроме того, как уже отмечено, имеет место снижение ожидаемых потерь при «последовательно обновленном» и адаптивном решениях. Далее, сопоставление приближенных ожидаемых потерь для «последовательно обновляемого» и адаптивного решения задачи управления показывает, что в последнем случае потери меньше. Однако разница в большинстве случаев будет небольшой, если Т не мало и целевое значение невелико. Наконец, все эти выводы получены на частной модели и для двухпериодной задачи управления, таким образом, они не могут быть просто перенесены на другие модели и задачи.