Введение

В развитии теории автоматического управления можно выделить три наиболее характерных периода, которые удобно кратко назвать периодами детерминизма, стохастичности и адаптивности.

В счастливые времена детерминизма как уравнения, описывающие состояние управляемых объектов, так и внешние воздействия (задающие и возмущающие) предполагались известными. Такая полная определенность позволяла широко использовать классический аналитический аппарат для решения разнообразных проблем теории управления. Особенно это относится к линейным задачам, где безгранично господствующий принцип суперпозиции существенно облегчал решение задач и создавал полную иллюзию отсутствия принципиальных затруднений. Эти затруднения возникли, конечно, как только появилась необходимость в учете нелинейных факторов. Но и в области нелинейных задач, несмотря на отсутствие общих регулярных методов, были получены существенные результаты, относящиеся как к анализу, так и к синтезу автоматических систем.

Менее счастливое время наступило во второй период — период стохастичности, когда в связи с учетом более реальных условий работы автоматических систем было установлено, что внешние воздействия, задающие, а особенно возмущающие, непрерывно изменяются во времени и заранее не могут быть определены однозначно. Часто это относилось и к коэффициентам уравнений управляемых объектов. Поэтому возникла необходимость в привлечении иных подходов, учитывающих вероятностный характер внешних воздействий и уравнений. Эти подходы основаны на знании статистических характеристик случайных функций (которые тем или иным путем должны быть предварительно определены) и так же используют аналитические методы, как и в счастливые времена детерминизма.

Характерная особенность этих периодов развития теории автоматического управления состоит в том, что их методы и результаты непосредственно применимы к автоматическим системам с достаточной информацией, т. е. уравнения объекта и внешние воздействия либо их статистические характеристики должны быть известны.

В нынешнее «многострадальное» (с точки зрения теории автоматического управления) время с каждым днем мы все больше убеждаемся, что в современных сложных автоматических системах, работающих в самых разнообразных условиях, уравнения управляемых объектов и внешние воздействия (либо их статистические характеристики) не только неизвестны, но по различным причинам мы даже не имеем возможности заранее определить их экспериментальным путем. Иначе говоря, мы сталкиваемся с большей или меньшей начальной неопределенностью. Все это хотя и затрудняет управление такими объектами, но не делает это управление в принципе невозможным, свидетельствуя лишь о наступлении нового, третьего периода в теории управления — периода адаптивности. Возможность управления объектами при неполной и даже весьма малой априорной информации основана на применении адаптации и обучения в автоматических системах, которые уменьшают первоначальную неопределенность на основе использования информации, получаемой в течение процесса управления.

Не надо думать, что периоды детерминизма, стохастичности и адаптивности сменяли друг друга подобно кадрам в кино. Последующие периоды зарождались в недрах предшествующих, и мы являемся свидетелями сосуществования проблематики этих периодов.

На первой стадии каждого из перечисленных периодов основной задачей была задача анализа автоматических систем и выяснение их свойств. Затем возникли задачи синтеза автоматических систем, удовлетворяющих определенным требованиям. Естественно, появилось желание, а часто и необходимость осуществить синтез оптимальной в том или ином смысле системы.

Проблема оптимальности стала одной из центральных в автоматическом управлении. И если еще не достигнуты большие успехи в обосновании выбора и в формулировке показателей качества, то нас могут утешать блестящие результаты, связанные с проблемой оптимальности, которые сконцентрированы в принципе максимума Понтрягина и методе динамического программирования Беллмана. Хотя они и возникли на почве детерминистских задач, но с определенным успехом начинают завоевывать территорию стохастических и отчасти адаптивных задач.

Большим достижением периода стохастичности в этом же направлении являются методы Колмогорова — Винера и Калмана, которые в значительной мере исчерпали линейные задачи синтеза.

К сожалению, период адаптивности не может похвастаться столь блестящими результатами. Это объясняется тем, что проблема адаптации и связанные с ней проблемы обучения и самообучения еще очень молоды. Тем не менее мы все чаще и чаще обнаруживаем их в разнообразных задачах современной автоматики. Помимо основной, упомянутой уже выше задачи управления объектами в условиях неполной априорной информации или ее отсутствия, т. е. в условиях начальной неопределенности, задачи адаптации возникают при определении характеристик объектов и воздействий, при обучении опознаванию образов, ситуаций, при выработке и улучшении целей управления и т. п.

Термины «адаптация», «самообучение», «обучение» наиболее модны в современной теории автоматического управления. К сожалению, как правило, эти термины не имеют однозначного толкования, а зачастую не имеют просто никакого толкования. Это создает благоприятную почву для безудержных фантастических рассуждений, особенно часто бытующих в популярной литературе по кибернетике, а иногда проникающих и на страницы некоторых технических журналов.

Тем не менее, если исключить этот обильный, но мало содержательный поток «общих рассуждений», то можно указать на целый ряд интересных подходов и результатов, полученных в связи с решением перечисленных выше задач.

Следует, однако, заметить, что до последнего времени эти задачи рассматривались изолировано и независимо одна от другой. Связи между ними почти не замечались, хотя при более общем взгляде на проблемы адаптации, обучения и самообучения все эти задачи оказываются настолько тесно связанными, что приходится только удивляться тому, что эта связь не была подчеркнута ранее.

Основная наша цель состоит в обсуждении проблемы адаптации, обучения и самообучения с некоторой единой точки зрения, которая связала бы между собой задачи, казавшиеся ранее разрозненными, и которая позволила бы установить эффективные пути их решения.

Разумеется, на какое-либо осуществление этой цели можно надеяться лишь при выполнении хотя бы двух условий: наличия определенных, пусть условных, но содержательных понятий адаптации, обучения и самообучения и наличия некоторого математического аппарата, адекватного этим понятиям.

Первое условие находится если не в наших руках, то, по крайней мере, в руках комиссий по технической терминологии и поэтому из многочисленных, порой разноречивых определений мы надеемся либо выбрать более или менее подходящее для нашей книги, либо, в крайнем случае, прибавить еще одно определение. Что же касается второго условия, то обычно удовлетворить ему несоизмеримо труднее. Но, как это неоднократно случалось в истории науки, адекватный математический аппарат, хотя и в зародышевой форме, к счастью, существует. Он содержится, с одной стороны, в сформировавшейся к настоящему времени математической статистике, а с другой стороны, в интенсивно развивающейся новой математической дисциплине, известной под названием математического программирования.

Математическое программирование разрабатывает теорию и методы решения экстремальных задач и охватывает как специальные разделы (вариационное исчисление, принцип максимума Понтрягина, динамическое программирование Беллмана, линейное и нелинейное программирование), так и — как это можно понять сейчас — методы стохастической аппроксимации. Последние методы, к сожалению, мало использовавшиеся вне математической статистики, играют существенную роль в интересующей нас области.

Важно подчеркнуть, что математическое программирование не связано с необходимостью описания условий задачи в аналитическом, формульном виде, и поэтому может охватить значительно более широкий круг задач, чем те методы, с помощью которых пытаются получить решение в замкнутой аналитической форме. Алгоритмическая форма решения экстремальных задач дает возможность использовать средства современной вычислительной техники и не укладывать условия задачи в прокрустово ложе аналитического подхода, что обычно уводит нас далеко за пределы тех реальных задач, которые мы действительно хотели бы рассмотреть.

Алгоритмы обучения и адаптации должны позволить в условиях минимальной априорной информации достигнуть оптимума в том или ином смысле. Поэтому прежде всего мы должны познакомиться с проблемой оптимальности и алгоритмическими методами решения этой проблемы. Затем мы сможем обсудить понятия и методы, характерные для проблемы адаптации и обучения. И только после этого, вооружившись единой точкой зрения и подходом к интересующей нас проблеме, мы будем в состоянии приступить к решению разнообразных задач.

Именно такая последовательность и принята в настоящей книге.