ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА

Марковские процессы принятия решений или управляемые марковские процессы уже давно привлекают внимание математиков, как интересная, содержательная и вместе с тем трудная область творчества. В то же время эти процессы используются для решения многих задач, встречающихся при исследовании операций, в системном анализе, теории надежности, диагностике, управлении запасами, прогнозировании, причем применение оптимальных стратегий управления, получаемых с помощью алгоритмов, разработанных в рамках теории управляемых марковских процессов, может дать весьма значительный экономический эффект при решении задач практики. Поэтому аппарат теории управляемых процессов становится рабочим инструментом все возрастающего числа специалистов, работающих в указанных областях.

Предлагаемая читателям книга известных специалистов в области управляемых случайных процессов X. Майна и С. Осаки близка к книге Р. Ховарда «Динамическое программирование и марковские процессы» — первой монографии, посвященной этой теме. В данной книге кроме математического описания марковских управляемых процессов и алгоритмов нахождения оптимальных управлений этими процессами авторы рассмотрели такие интересные в теоретическом и прикладном отношении вопросы, как полумарковские управляемые процессы, обобщенные процессы принятия решений, стохастические игры, теоремы существования оптимальных и почти оптимальных стратегий. Приведены итерационные алгоритмы и алгоритмы линейного программирования решения задач оптимизации. Особое внимание уделяется связи между этими алгоритмами.

На протяжении всего изложения конкретные алгоритмы нахождения оптимальных управлений процессами

различных типов сочетаются с обобщающими теоретическими построениями, что делает книгу полезной не только специалисту, интересующемуся приложениями, но и математику.

Следует отметить, что авторы, приводя алгоритмы нахождения оптимальных стратегий, не уделили достаточного внимания их численной реализации. В то же время существуют работы [116], [133], [152], [153], [157] — [160], посвященные вопросам ускорения сходимости итерационных алгоритмов, их устойчивости и методам их реализации на ЭВМ.

Поскольку с момента выхода книги X. Майна и С. Осаки на английском языке прошло уже несколько лет, то было решено дополнить ее некоторыми комментариями и ссылками на новые работы по данной тематике. В этом большую помощь оказал В. В. Рыков, которому редактор и переводчики искренне благодарны. Полный список литературы читатель может найти в обзоре В. В. Рыкова [137].

Данная книга, на наш взгляд, может служить основой спецкурса по теории управляемых случайных процессов для студентов, специализирующихся по прикладной математике и вопросам управления в сложных системах. Для понимания материала достаточно знания элементарной теории цепей Маркова и основ линейного программирования. Книга представляет интерес и для широкого круга специалистов, занимающихся вопросами исследования операций и системного анализа.

Я. П. Бусленко

ПРЕДИСЛОВИЕ АВТОРОВ

Предметом теории, развиваемой в данной книге, являются процессы принятия последовательных решений для цепей Маркова. Интенсивное исследование таких процессов было начато в 1960 г. Простота возникающих при этом математических моделей приводит к наглядности конечных результатов и их применимости для решения прикладных задач.

Общие построения и свойства марковских процессов принятия решений представляют большой интерес не только для математиков-прикладников и лиц, занимающихся исследованием операций, но и для статистиков, экономистов и инженеров. Помимо рассмотрения общетеоретических вопросов, в книге приводятся алгоритмы нахождения оптимальных решений и даются некоторые наиболее важные обобщения исходных постановок. Например, изучаются полумарковские и общие процессы принятия решений, а также стохастические игры. Все эти модели тесно примыкают к марковским процессам принятия решений.

В нашу задачу не входило рассмотрение всех проблем теории марковских процессов принятия решений — мы ограничились лишь наиболее важными из них. Некоторые детали, относящиеся к специальным вопросам, а также ряд прикладных задач, оставшихся за пределами данной книги, читатель может найти в цитируемой литературе.

Для понимания материала данной книги достаточно знания элементарной теории цепей Маркова и линейного программирования.

Выход в свет данной книги был бы невозможен без той помощи, которую нам оказали различные лица и организации.

Авторы хотят особо поблагодарить профессора Ричарда Беллмана за поддержку и предоставленную

возможность публикации книги в редактируемой им серии.

Мы признательны редакторам журналов The Annals of Mathematical Statistics, SIAM, Management Science, Operations Research за разрешение использовать материалы, опубликованные ранее в этих журналах. Мы особо благодарим издательство Массачусетского технологического института за данное им разрешение воспроизвести некоторые численные примеры из книги Р. А. Ховарда «Динамическое программирование и марковские процессы». Авторы признательны сотрудникам лаборатории профессора Майна в отделе прикладной математики и физики университета Киото. Наконец, мы хотим поблагодарить Н. Цуйи за подготовку рукописи.