Глава 4. ПРИМЕНЕНИЯ

1. Введение

Во второй главе мы изучали различные математические модели метода Роббинса — Монро, а в этой главе займемся их приложениями. Процедуры стохастической аппроксимации требуют очень мало предварительных сведений о процессе (о его входе и т. п.), однако при этом получаются достаточно

- хорошие результаты.

Во-первых, мы рассмотрим вопросы о применении метода стохастической аппроксимации к процессам управления .с адаптацией. Его можно рассматривать как обобщение процедуры условно пропорционального управления, изучавшейся Боксом и Дженкинсом [1].

Во-вторых, мы рассмотрим задачу, возникшую в фармакологии, и покажем, какие преимущества возникают при использовании этих методов. В-третьих, мы рассмотрим применение к задаче надежности. И, наконец, в-четвертых, изучим процедуру последовательной оценки интенсивности реакции с помощью метода Роббинса — Монро.

Интересно отметить, что эти методы на практике оказываются довольно удовлетворительными. Везерил [1] использовал методы моделирования при изучении применений процедур стохастической аппроксимации и предложил несколько их модификаций.

2. Процессы управления с адаптацией

а) Задача об управлении процессом. Цель управления процессом может состоять в том, чтобы поддерживать реакцию по возможности ближе к некоторому заранее выбранному уровню с помощью изменения независимой переменной

Рассмотрим эту задачу применительно к простому химическому процессу. Предположим, что мы хотим поддерживать вязкость на выходе процесса как можно ближе к уровню Единственной независимой переменной, которую мы будем менять, является значение некоторого параметра, определяющего положение клапана, регулирующего водяное охлаждение в теплообменнике системы. Значение параметра может измет няться от величины соответствующей полностью закрытому клапану, до величины соответствующей полностью открытому клапану. Сначала клапан устанавливается в некоторое промежуточное положение Ровно через 15 минут измеряемся вязкость 7, на выходе и клапан переводится в положение, которое определяется зафиксированным рассогласованием в таком положении клапан остается в течение следующего -мйнутного периода. Таким образом, через каждые 15 минут клапан устанавливается в новое положение которое определяется всеми предыдущими рассогласованиями и всеми его предыдущими положениями.

В этом параграфе предполагается, что увеличение известной нам координаты характеризующей 1 положение клапана, вызывает возрастание истинной вязкости. Другими словами, мы знаем направление, — в котором следует перемещать клапан, чтобы компенсировать чрезмерно высокую или чрезмерно низкую вязкость. Этот тип задач обсуждался Комером [2], у которого до некоторой степени и заимствован этот материал.

Первой целью при выборе параметров для любой процедуры управления является минимизация истинных асимптотических потерь определяемых как асимптотическое значение среднеквадратичного отклонения истинной вязкости от Эти асимптотические потери предполагаются существующими для моделей, изучаемых в этом параграфе. Кроме того, мы считаем, что ошибки измерения (которые, возможно, существуют) образуют стационарную последовательность независимых случайных величин с дисперсией а случайное поведение этой последовательности

не зависит от случайных изменений, связанных с процессом.В этих предположениях истинные асимптотические потери будут минимизированы, если нам удается минимизировать выражение

теперь определяется на основе наблюдаемых значений ; мы будем говорить об как об асимптотической потере.

Вторая цель при выборе параметров для процедуры управления состоит в том, чтобы потери оставались малыми при любой итерации Определим эти потери как

Обсудим теперь простую процедуру пропорционального управления и покажем, как можно достичь и первой и второй указанных выше целей.

b) Процедура пропорционального управления. Простая процедура пропорционального управления требует, чтобы мы выбрали параметр управления а и последовательно производили регулирование положения клапана на основании рекуррентного соотношения вида

В этой процедуре выбираются на основании прошлого опыта. Практически область изменения ограничена отрезком Например, если бы некоторое вычисленное значение было бы меньше то надо было бы взять равным

Теперь приведем пример, когда в нашем распоряжении имеется дополнительная информация о значениях У и мы хотим управлять процессом так, чтобы независимая переменная X приближалась к точке перегиба (предполагается, что она существует). Обсудим, как можно осуществить вторую цель управления процессом.

(кликните для просмотра скана)

Замечание. При управлении процессами стремятся к тому, чтобы процесс протекал на фиксированном уровне (например, на уровне ). В этом случае переменной процесса является . Желательно рассмотреть и определить для данного с то а, которое минимизирует А.

Пример (а). Пусть функция ковариации процесса равна где положительное целое число. Тогда

Величина достигает минимума, когда

Поэтому в данном случае можно определить для данных с и Я оптимальное значение а.

Пример Пусть функция ковариации процесса равна

Для данного значения можно определить значение а, минимизирующее А.

Интересное обобщение простой процедуры пропорционального управления получается в том случае, когдач допускается изменение параметра а со временем. Рекуррентное соотношение тогда принимает такой вид:

Особый случай, когда состоит из положительных чисел, стремящихся к нулю, интуитивно представляется нам привлекательным. Мы можем надеяться, что в этом случае процедура достижения «хорошего» положения клапана ускоряется как для процесса, описанного в предыдущем пункте, так и для процесса ликвидации рассогласования положения клапана после возмущения. Наша надежда основана на том, что относительно большое первоначальное изменение приведет к тому, что будет достаточно быстро приближаться к хорошему значению, вблизи которого будет колебаться, когда его изменение станет меньше. После обсуждения общего процесса мы рассмотрим такую процедуру стохастической аппроксимации, хотя подобного рода методы уже исследовались теоретически в гл. 2 и 3.

d) Общий процесс. Для того чтобы оценить преимущества различных методов управления, необходимо построить математическую модель процесса. Эта модель должна отражать соотношение между с учетом влияния нежелательных случайных изменений Мы начнем построение общей модели рассматриваемого процесса, определив стационарный эффект регулирования:

где строго возрастающая функция регрессии и для всех X, отличных от X и лежащих в заданном отрезке существуют границы и такие, что

Мы предполагаем также, что существует значение 0 в отрезке такое, что где желаемое значение реакции.

Если X меняется часто, то эффект регулирования может быть лишь частично реализован на единичном интервале времени. Эффект регулирования X при этих условиях может включать динамическое запаздывание первого порядка и задается тогда формулой

где представляет динамическое запаздывание первого порядка в процессе, причем Если запаздывания нет, положим равным нулю; тогда соотношение (7) сводится к (5).

Наконец, можно определить как

где последовательность стационарных случайных величин с и конечным При этом стохастическое поведение не зависит от используемой процедуры управления, а корреляционная структура удовлетворяет следующему условию: существует последовательность неотрицательных чисел такая, что

для всех и всех Объединяя (7) и (8), находим, что может быть выражено через в виде

Заметим, что, когда запаздыванием можно пренебречь выражение (11) сводится к

Этот случай стохастической аппроксимации рассматривается в теореме гл. 2.

е) Процедура управления для выбора «хорошего» фиксированного значения . В свете изложенных выше результатов в применении к химическим процессам можно предложить следующую, процедуру управления. Для порождаемой ею последовательности легко установить сходимость в среднеквадратичном и с вероятностью единица к нужному значению. (Это можно сделать, используя результаты гл. 2.)

(i) Пусть наилучшая - априорная оценка в допустимом интервале

Определим последовательность констант так, чтобы

(iii) Определим для следующим рекуррентным соотношением:

Реализация этой процедуры для некоторого специального выбора и последовательности описана ниже.

Интуитивное обоснование этой процедуры просто. Направление, в котором изменяется выбирается так, чтобы приближалось к Изменения переменной с возрастанием становятся меньше, и мы имеем

при условии, что имеют место ограничения, описанные для общего процесса. Несмотря на то что, используя эту процедуру, легко получить хорошие асимптотические результаты, из практических соображений следует выбирать последовательность и начальное положение, так, чтобы сделать процедуру достаточно хорошей даже для малых значений Выбор для значения дает удовлетворительный результат. Комер рассмотрел также случай, когда и с целью иллюстрации привел много примеров конкретных процессов.