Глава 16. УПРАВЛЯЕМЫЕ МНОГОШАГОВЫЕ ПРОЦЕССЫ ПРИНЯТИЯ РЕШЕНИЙ С АДАПТАЦИЕЙ

16.1. ВВОДНЫЕ ЗАМЕЧАНИЯ

В гл. 2 была рассмотрена задача оптимизации многошагового управляемого процесса принятия решений, в котором принимаемое на шаге решение влияет на последующий процесс получения текущей информации (данных наблюдения) и значения параметров определяющих последствия от принятия решений на следующих шагах. Общее решение этой задачи в байесовом случае задается системой рекуррентных сотношений для апостериорных рисков, в которой последовательно чередуются операции минимизации и усреднения по всем данным, не полученным к моменту принятия очередного решения.

Изложенный в § 2.7 математический аппарат в сочетании с развиваемыми в настоящей книге методами преодоления априорной неопределенности обладает весьма большой универсальностью и дает возможность решить задачи оптимизации для многих достаточно широких по своей постановке классов систем и процессов. Приведем некоторые примеры этих классов.

а. Управление объектом. Общая схема системы управления показана на рис. 16.1. Она содержит объект управления, текущее состояние которого зависит от последовательности предыдущих состояний

и управляющих воздействий датчики информации, с помощью которых на каждом шаге получается совокупность некоторых данных наблюдения статистически связанных с состояниями объекта управления и устройство формирования управляющих воздействий Решение заключается в выборе последовательности управляющих воздействий с целью обеспечения минимума математического ожидания некоторой функции потерь, зависящей от этой последовательности и последовательности состояний объекта управления и реализуется устройством формирования управляющих воздействий с помощью данных наблюдения

Рис. 16.1. Структурная схема системы управления объектом: 1 — объект управления; 2 — датчики информации об объекте управления; 3 — устройство формирования управляющих воздействий.

Рис. 16.2. Структуриая схема системы управления процессом наблюдения: 1 — источники получения даниых наблюдения; 2 — устройство формирования основного решения. 3 — устройство формирования управляющих воздействий

Связь текущего состояния объекта управления с предыдущими состояниями и управляющими воздействиями в общем случае статистическая, в частном случае детерминированного объекта управления состояние простой функциональной зависимостью.

Априорная неопределенность для этого класса задач возникает по двум причинам: из-за неполного знания структуры и характеристик объекта управления и из-за неполного описания статистической зависимости данных наблюдения от состояний объекта управления Первая из них приводит к незнанию априорных распределений вероятности для состояний объекта а вторая — функций правдоподобия (последние для данного класса систем не зависят от

б. Управление процессом наблюдения при принятии решений. Обширный класс задач соответствует информационным системам, назначение которых состоит в принятии на основе некоторой совокупности данных наблюдения решения типа оценки некоторой совокупности параметров, проверки гипотез и т. п. При этом имеется в виду, что наблюдаемые данные х получаются при -шаговом процессе наблюдения, т. е. может быть, в частности, и бесконечным) и мы можем управлять источниками получения этих данных, формируя соответствующие управляющие воздействия. Управление выражается в подключении новых источников данных наблюдения, смене режимов работы этих источников, выборе продолжительности или периодичности наблюдения и т. д. Общая схема управления процессом наблюдения показана на рис. 16.2. Полная совокупность принимаемых решений включает в себя основное решение и решения по выбору управляющих воздействий, причем последние могут зависеть от данных наблюдения

как непосредственно, так и через основные решения (если эти основные решения также принимаются по шагам). Соответствующая связь показана на рис. 16.2 пунктиром.

Априорная неопределенность для этого класса задач связана с незнанием функций правдоподобия описывающих статистическое поведение источника получения данных наблюдения, и с незнанием априорных распределений вероятности (которые для данного класса систем не зависят от

в. Управление объектом и источниками получения информации о его состояниях. Объединением двух рассмотренных случаев получается более общий класс управляемых многошаговых процессов, соответствующий системам, в которых мы имеем возможность управлять состояниями некоторого объекта и датчиками информации об этих состояниях. Общая схема такой системы получается из схемы рис. 16.1, если замкнуть обратную связь с устройства формирования управляющих воздействий на датчики информации, а ее статистическое описание соответствует общему случаю § 2.7. Именно такая схема наиболее адекватна црактическим потребностям и соответствует широчайшему спектру задач — от задачи управления движением космического аппарата и средствами наблюдения за его движением до задачи управления производством (предприятия, отрасли и т. д.) и средствами получения информации о ходе производственного процесса.

Оптимизация управляемого многошагового процесса принятия решения представляет собой, пожалуй, наиболее трудную задачу теории статистических решений даже в чисто байесовом варианте. Эта трудность обусловлена тем, что в общем случае описанная в § 2.7 процедура не разбивается на совокупность задач по независимому выбору решений на отдельных шагах. Требуется решать всю задачу целиком, начиная с конца, и выбрать сначала полагая, что заданы, затем полагая, что заданы При этом выбор любого решения должен производиться с учетом последствий, которые связаны с этим решением не только непосредственно, но и тех, которые проявятся в будущем из-за влияния на последующий процесс наблюдения и изменения параметров определяющих будущие потери. Только при определенных условиях, которые связаны либо с фактическим отсутствием влияния выбираемого на шаге решения на будущие потери, либо со специальным выбором критерия качества, при котором это влияние игнорируется (например, при использовании принципа локальной оптимальности), многошаговый процесс принятия решений разбивается на независимую совокупность задач оптимального выбора решений на отдельных шагах. Примеры подобных задач мы рассматривали в предыдущих главах.

Несмотря на отмеченные трудности, в настоящее время известно достаточно много результатов в области оптимизации управляемых многошаговых процессов принятия решения. Большинство из них относится, правда, к случаю, когда процесс изменения параметров определяющих последствия от принятия решений, детерминирвван, и наблюдаемыми данными являются непосредственно значения этих параметров, однако имеется также решение значительного количества и невырожденных статистических задач. Важные результаты и практически интересные примеры содержатся в работах Беллмана, Фельдбаума, Стратоновича, Ширяева, Хазен и др. [3, 5, 30, 37, 38, 41]. Полученные при этом конкретные правила решений (алгоритмы обработки

информации и управления), как и в других случаях, являются основой для соответствующих адаптивных правил решения в условиях априорной неопределенности.

В случае параметрической априорной неопределенности, в соответствии с общими положениями гл. 6, адаптивное байесово правило решения для многошаговой задачи получается заменой неизвестных значений параметров, входящих в обычное байесово правило решения, их оценками. При этом, разумеется, эти оценки должны быть согласованы со структурой многошагового процесса принятия решений в том смысле, что они должны производиться только с использованием тех данных наблюдения, которые имеются к очередному шагу. Рассмотрим, что меняется в основных рекуррентных соотношениях § 2.7 при наличии априорной неопределенности и как следует дополнить эти соотношения, чтобы получить процедуру построения необходимых оценок неизвестных параметров.

Пусть введенные в § 2.7 для описания многошагового процесса условные плотности вероятности значений зависят от совокупности неизвестных параметров соответственно, так что

Тогда на основании общих принципов адаптивного байесова подхода, изложенных в гл. 6, будем иметь вместо рекуррентных соотношений § 2.7 следующую систему рекуррентных соотношений для апостериорных рисков, из которой определяется последовательность оптимальных решений для многошаговой процедуры:

или

где - полная совокупность неизвестных параметров, а их оценка максимального правдоподобия на шаге, которая определяется из уравнения

В регулярном случае оценка максимального правдоподобия может быть найдена с помощью общих рекуррентных соотношений гл. 7 (выражения (7.5.24), (7.5.27), (7.5.30), (7.5.31) с точностью до замены 0 на в которых

и в отличие от неуправляемых процессов зависит также от последовательности решений принятых на предыдущих шагах. Формальная же структура алгоритмов формирования оценок неизвестных параметров остается неизменной, точно так же, как и формальная структура основных рекуррентных соотношений для апостериорных рисков, определяющих правило выбора оптимальных решений.