4.4.4. Эффективное оперативное управление

Первоначально многослойные нейронные сети и алгоритм обратного распространения были разработаны для задач распознавания образов, где обучающие образцы являются статическими, процедура обучения и функция ошибки — однозначные, и обучение в реальном времени не требуется. В управлении обучающие образцы для нейронной сети изменяются со временем, возможно несколько алгоритмов обучения и функций ошибки, а обучение в реальном времени необходимо.

Медленная сходимость — основной недостаток многослойных нейронных сетей, серьезно ограничивающий практическое применение нейронного управления. Предложено несколько подходов для ускорения сходимости в нейронном управлении. Перечислим некоторые из них.

1. Разработка эффективных алгоритмов обратного распространения.

2. Встраивание знаний о структуре объекта управления в структуру многослойных нейронных сетей.

3. Применение гибридных сетей, в которых искусственные нейронные сети связываются со структурами управления, полученными на основе других (отличных от нейронных) технологий.

4. Предварительное обучение и эффективные процедуры инициализации.

Ниже рассматриваются новые алгоритмы оперативного обучения, направленные на сокращение времени обучения нейроконтроллеров. Эти алгоритмы основаны на разделении понятий частоты дискретизации и частоты выполнения обучающих итераций (частоты обучения). В системах управления с дискретным временем период дискретизации Т обычно выбирается по следующему эмпирическому правилу: величина должна значительно превышать максимальную частоту, имеющуюся в системе с непрерывным временем. Обычно повышение частоты дискретизации улучшает характеристики системы, однако это улучшение быстро прекращается (график изменения характеристик достигает плато). В обычных адаптивных системах управления адаптивные элементы, как правило, корректируются один раз за каждый период дискретизации; таким образом, частоту дискретизации и частоту корректировки (или обучения, или адаптации) можно не различать. Если пренебречь ограничениями на время обработки, то может показаться, что фактическое время обучения можно сократить, повысив частоту дискретизации.

Однако во многих практических случаях превышение некоторого предела частоты дискретизации недопустимо или нежелательно. Например, в обычных промышленных химических установках, как правило, интерес представляют процессы, связанные с большими величинами временных констант. При этом не имеет смысла использовать высокие частоты дискретизации: это может привести к избыточности информации. Использование очень высоких частот дискретизации может привести к

полной перестройке системы управления и усложнить ее; может потребоваться учитывать частные процессы и переходные явления, которые при меньших частотах дискретизации можно было бы игнорировать. Другой пример систем, в которых нельзя использовать произвольно высокую частоту дискретизации — распределенные системы управления, в которых интервалы передачи информации на устройство управления и приема информации с него не зависят от самого устройства управления.

Хотя период дискретизации Т задает базовый темп работы системы управления, в системах с итерационным обучением частота обучающих операций может рассматриваться как еще одна основа для отсчета времени. На практике период дискретизации Т обычно значительно превышает время затрачиваемое на одну обучающую итерацию, т.е. на корректировку всех весов сети; по мере появления реализаций многослойных сетей с более высоким быстродействием (за счет улучшения их программной или аппаратной реализации) отношение повышается. Таким образом, если имеется соответствующая информация о входе и выходе объекта управления, и интерес представляет только время, то за период дискретизации может выполняться несколько обучающих итераций. Обычный (и самый простой) подход, состоящий в выполнении одной корректировки за период дискретизации, связан с непроизводительными затратами времени обработки. Проблема состоит в том, каким образом выбрать и использовать обучающие данные, как использовать имеющееся время для рационального обучения нейроморфных структур, т.е. для обучения, которое должно повысить эффективность управления. Ниже рассматриваются новые методы обучения, в которых за каждый период дискретизации выполняется несколько обучающих итераций; эти методы предложены в [52].

4.4.4.1. Обучение эмулятора

Предположим, что в момент времени в памяти хранится текущее значение выхода значений того же

процесса в предшествующие моменты времени и значений входного процесса и в предшествующие моменты времени. В этом случае в качестве образцов для обучения НЭОУ в момент времени могут использоваться пар Для случая требуется минимизировать следующую функцию ошибки:

— невозрастающая положительная последовательность, предназначенная для определенного «забывания» образцов, полученных ранее.

Пример 4.4.1. Пусть только что получена величина (таким образом, еще неизвестна), Предположим также, что величины имеются в памяти. В этом случае входные векторы НЭОУ можно представить в виде:

Эти входные векторы и величины образуют обучающие образцы для обучения в момент времени Данная процедура показана на рис. 4.4.1 (a), где через обозначено состояние НЭОУ во время интервала дискретизации, после обучающей итерации, Аналогично обозначает отображение «вход-выход», выполняемое НЭОУ в состоянии Очевидно, что

4.4.4.2. Обучение контроллера: подход на основе ошибки инверсно-прямогоуправления

Рассмотрим инверсно-прямую конфигурацию управления (рис. 4.3.10). Предположим, что в момент времени в

памяти хранится текущее значение выхода предыдущих значений выходного предыдущих значений входного процессов. В этом случае в качестве образцов для обучения нейроконтроллера в момент времени могут использоваться ппар

где

При и функции ошибки

соответствующий 5 — член для образца записывается следующим образом:

Следует отметить, что функция ошибки (4.4.14) не включает в себя непосредственно координату ошибки объекта управления. В связи с этим обучение объекта управления непосредственно не повышает эффективность управления, однако такой способ обучения позволяет достичь хорошего обобщения в пространстве параметров управления. На практике обучение нейроконтроллеров, основанное только на инверсно-прямом подходе, дает плохие результаты: выход нейроконтроллера устанавливается на некоторой постоянной величине, в результате чего ошибка обучения оказывается нулевой, однако характеристики управления оказываются явно плохими. Этот недостаток присущ всем методам обучения, основанным на минимизации ошибки инверсного управления. Его можно устранить, используя сочетание таких методов управления с другими, непосредственно минимизирующими ошибку системы регулирования. Это показано наследующем примере.

Пример 4.4.2. Пусть и только что получена величина Предположим таюке, что в памяти имеются величины Обозначим через

текущее отображение, выполняемое нейроконтроллером (равенство означает, что обучения еще нет). Входной сигнал для объекта управления можно вычислить из соотношения где . Для обучения в соответствии с подходом на основе ошибки инверсно-прямого управления можно использовать следующие векторы:

(см. скан)

Рис. 4.4.1. Простые схемы множественного обучения: (а) НЭОУ (пример 4.4.1); (b) нейроконтроллер, объединяющий инверсно-прямое управление и схемы эмулятора и контроллера (пример 4.4.2) [52]

Эти векторы и входные величины образуют три обучающих образца (входной вектор и желаемый выход) для обучения нейроконтроллера в момент времени Однако такой метод обучения непосредственно не минимизирует ошибку управления; поэтому на практике необходимо сочетание этого подхода с одним из методов, рассмотренных в разделах 4.4.3.2 и 4.4.3.3. На рис. показано сочетание множественного обучения (на основе инверсно-прямого управления) и простого обучения на основе обучающей конфигурации; в результате выполняется 4 обучающих итерации за один период дискретизации. Вектор задается составляющими через обозначено состояние нейроконтроллера во время интервала дискретизации, после обучающей итерации (соответствующее отображение задается выражением . В результате достигается точное обучение НЭОУ за счет усложнения процесса обучения.

4.4.4.3. Обучение контроллера: подход на основе прогнозируемой ошибки выхода

Более сложный подход к множественному обучению нейроконтроллера можно получить на основе конфигурации из эмулятора и контроллера, рассмотренной в разделе 4.4.3.3. Предположим, что в момент времени в дополнение к значениям переменной у (включая ) и предыдущим значениям переменной и имеется также значений опорного сигнала Из выражений (4.4.6) и (4.4.7) следует, что наличие таких данных эквивалентно наличию входных векторов в памяти. В соответствии с выражением (4.4.5), в момент времени входной управляющий сигнал определяется следующим образом:

Однако с момента времени, когда вектор был сохранен, до текущего момента времени было выполнено несколько корректировок нейроконтроллера. Поэтому в момент времени сохраненный входной вектор даст следующий виртуальный входной сигнал:

Это означает только, что последняя величина с соответствующими величинами может быть непосредственно использована для обучения на основе одной из конфигураций адаптивного управления. Однако это не относи в пол ной мере к преда им величинам для Для таких случаев можно спрогнозировать соответствующий выходной сигнал объекта управления с помощью эмулятора (см. рис. 4.4.2, а) в соответствии с выражением

где второй верхний индекс в обозначении опущен для простоты, а вектор задается следующим образом:

Для лучшего понимания процесса обучения нейроконтроллера представим себе нейроконтроллер и НЭОУ как одну многослойную сеть. В момент времени каждому входному вектору пусть соответствует прогнозируемая ошибка и обучение направлено на минимизацию некоторой нормы предсказанной ошибки выхода. Функция ошибки может иметь следующий вид:

В обучающей конфигурации, показанной нарис. 4.4.2, а,

Рис. 4.4.2. Подход на основе прогнозируемой ошибки выхода. (а) Схема обучения, использующая расхождение между опорным сигналом и выходом НЭОУ. (b) Множественное обучение нейроконтроллера на основе прогнозируемой ошибки выхода (пример 4.4.3) [52]

нейроконтроллер обучается на основе ошибки, представляющей собой расхождение между опорным сигналом и выходом НЭОУ, а не расхождение между опорным сигналом и выходом объекта управления, как в схеме прямого адаптивного управления, приведенной на рис. 4.4.2, Ь. Предыдущие значения величины выхода объекта управления необходимы для входных векторов нейроконтроллера и НЭОУ.

Пример 4.4.3. Пусть и только что получена величина Предположим, что в памяти имеются значения а также Входные векторы нейроконтроллера, используемые для вычисления трех последних значений входного управляющего сигнала, можно записать в следующей форме:

и(5)]т.

Возможная процедура обучения для момента времени показана на рис. за один период дискретизации выполняется три обучающих итерации. Прогнозируемые величины выхода объекта управления вычисляются по схеме, показанной на рис. 4.4.2, а, допускающей использование величин в момент времени при этом последний вектор используется обычным образом.