Глава 15. АДАПТАЦИЯ МНОГОШАГОВЫХ ПРОЦЕССОВ ПРИНЯТИЯ РЕШЕНИЙ, ОСНОВАННАЯ НА ЗНАНИИ ПОТЕРЬ НА ПРОШЛЫХ ШАГАХ
15.1. ВВЕДЕНИЕ
Краткий обзор видов адаптации в живой природе и примеры адаптации в технике приводят к выводу о стохастическом характере адаптивных процессов. Кроме того, установлено, что адаптация, осуществляемая с использованием статистики наблюдений и ситуаций, направлена на получение оптимальных свойств.
Из этих обстоятельств следует адекватность для задач синтеза оптимальных адаптивных систем и процессов теории статистических решений А. Вальда. Применяя эту теорию в условиях неизвестной параметрически заданной «обстановки» работы систем (протекания синтезируемых процессов), мы получили оптимальные алгоритмы их функционирования, включающие в себя оценку неизвестной обстановки и перестройку систем при ее изменении. Соответствующие алгоритмы были получены как при принятии решений в заданные моменты времени, так и при их рекуррентном построении.
Рекуррентные алгоритмы принятия решений с оценкой неизвестной обстановки в наибольшей мере соответствуют сущности адаптивных систем, в особенности при изменяющихся условиях их работы. Однако смысл оптимальности подобных алгоритмов может быть различным.
Существуют задачи, в которых синтезируемая система, функционирующая в неизвестных или изменяющихся условиях, должна достигнуть заданной цели за определенный интервал времени или в течение
определенного числа шагов наблюдения. В этих задачах наиболее логично задаться некоторой финальной функцией потерь (часто это бывает сумма потерь, связанных со всеми шагами наблюдений) и минимизировать ее среднее значение выбором решений на каждом шаге. В ряде случаев, как мы видели, подобные алгоритмы удается получить, и они являются адаптивными, так как совместно с принятием основных решений оценивают неизвестную обстановку, чем улучшают процесс принятия решений.
В других случаях, относящихся к этому же классу, не удается решить задачи минимизации среднего риска, связанного со всем заданным интервалом наблюдения. Если при этом функция потерь аддитивна, то, как это следует из предыдущих глав, может быть осуществлена локальная оптимальность минимизацией текущего среднего риска. Соответствующие алгоритмы, как правило, достаточно просты и хорошо реализуются в рекуррентном виде.
Однако существует и другой класс задач, в котором время наблюдения или число шагов принципиально не ограничено, так что нельзя вычислить средний риск, связанный со всем процессом наблюдения. Вместе с тем в таких задачах обычно нельзя сформулировать и конечную цель. Существуют лишь цели, имеющие место в каждый данный момент времени (на каждом шаге наблюдений). Эти цели могут быть постоянны или изменяться от шага к шагу. Как следствие, функция потерь, соответствующая таким задачам, аддитивна, а минимизировать следует ее рреднее значение до рассматриваемого шага наблюдений включительно. В результате те решения, которые были локально оптимальными в предыдущих задачах, становятся абсолютно оптимальными в рассматриваемом классе. К этому классу относятся, в частности, упомянутые в гл. 1 процессы адаптации в живой природе и многие адаптивные системы в технике.
Существует, однако, важная особенность подобных процессов и систем. При многошаговой их работе обычно на каждом шаге принимаются решения вместе с оценкой соответствующей обстановки, в связи с этими решениями осуществляются те или иные действия, которые приводят к определенным результатам. Другими словами, становятся известными реализации потерь, связанных с прошлыми шагами наблюдений. Эшби [42] приводит много примеров подобных процессов, относящихся к адаптации живой природы. Ясно, что такие примеры не являются редкостью и для адаптивных технических систем.
Для синтеза оптимальных рекуррентных алгоритмов принятия решений, основанных на использовании не только наблюдаемых сигналов, но и решений, принятых на прошлых шагах, а также потерь, к которым привело принятие этих решений, можно применить развитые выше методы (гл. 2, 6). При этом следует учесть, что в соответствии с п. 3.3.2 принятые на предыдущих шагах решения и соответствующие им потери должны быть отнесены к результатам наблюдения.
В данной главе мы приведем постановку и решение задачи синтеза оптимальных многошаговых процессов применительно ко второму из упомянутых классов. Кроме того, обратимся и к первому классу, в котором число шагов зафиксировано, и найдем для него оптимальные адаптивные алгоритмы в условиях достаточно полной априорной неопределенности, но известных потерь, связанных с принятием решений на прошлых шагах.
