Глава IV. МАРКОВСКИЕ ПРОЦЕССЫ

§ 21. Предварительные замечания

Хотя марковские процессы (процессы без вероятностного последействия) представляют собой весьма специальный класс случайных процессов, значение их очень велико, поскольку выделяющие их условия оказываются выполненными в широкой области приложений теории. Это тем более справедливо, что случайные процессы общего вида во многих случаях могут быть приведены к схеме процесса без последействия, если воспользоваться более детальным описанием рассматриваемого процесса, т. е. должным образом увеличить количество переменных, описывающих состояние рассматриваемой системы. Для пояснения этого обратимся вновь к случаю детерминированного процесса, но допустим, что динамическая система описывается дифференциальным уравнением не первого порядка (как это предполагалось в § 15), а второго. Тогда решение при начальных условиях

будет

Если и теперь понимать под состоянием системы только координату х, то для плотности условной вероятности значения х в момент t надо было бы написать

Но задание равносильно заданию двух значений х в весьма близкие моменты времени [скажем, при при так что ]. Таким образом, условная

вероятность (21.1), по существу, зависит от двух предшествующих состояний:

и, следовательно, статистическое обобщение (21.1) не является процессом марковского типа.

Не только в статистической, но и в динамической теории обычно предпочитают избегать зависимости состояния системы от ее поведения до фиксированного начального момента. Это достигается расширением самого понятия состояния в момент t путем введения новых характеризующих состояние величин. В приведенном примере применение этого приема сводится к тому, что наряду с координатой х вводится еще и скорость . Понимая под состоянием совместное задание х и и в момент t, можно записать условную вероятность этого состояния для рассматриваемого динамического процесса в виде

что представляет собой частный случай вероятности перехода и . Таким образом, в соответствующей статистической схеме мы приходим теперь к марковскому процессу, но для совокупности двух случайных функций х, т. е. для двумерной случайной функции.

Аналогичным образом -мерный случайный процесс, не являющийся марковским, можно путем введения достаточно обширной совокупности «координат» сделать марковским, но для более высокого числа измерений k. Грубо говоря, для этого достаточно понимать под «состоянием» системы совокупность значения рассматриваемого процесса в последний наблюдаемый момент времени t и некоторого количества значений из «предыстории» этого процесса при . Если, однако, требовать конечности k, то этот прием будет осуществим не всегда. Именно так обстоит дело в приведенном ранее примере движения частицы в жидкости, оказывающей вязкое последействие (§ 25). Последнее описывается интегро-дифференциальным уравнением, т. е. не может быть исчерпано никакой конечной совокупностью производных от х в момент t или конечной совокупностью значений х в моменты

В зависимости от дискретности или непрерывности возможных значений параметра t и возможных значений х самой случайной функции можно и для случайных функций марковского типа различать те же четыре разновидности, о которых говорилось в § 14.

Если время t дискретно, то вместо значений можно рассматривать в качестве аргумента номера этих значений и

говорить об «испытаниях», занумерованных целыми числами . Случайная функция сводится тогда к последовательности случайных величин при испытании). Хотя схемы с дискретно меняющимся параметром t в некоторых отношениях более просты и наглядны, мы сосредоточим внимание на собственно процессах, т. е. на случае непрерывного изменения t, который впервые был рассмотрен в работах Эйнштейна и Смолуховского по теории брауновского движения. В отношении марковских последовательностей мы ограничимся отдельными замечаниями.

Наиболее близкими к классической теории вероятностей являются дискретные последовательности, т. е. процессы с прерывным временем и с дискретными возможными значениями случайных величин Обозначим эти возможные значения через . Марковость процесса означает, что существует вероятность перехода от любого из значений х при испытании к любому значению при испытании

Если, в частности, число возможных значений (состояний) конечно , то процесс называется простой цепью Маркова.

Однородность рассматриваемого процесса марковского типа состоит в том, что вероятность перехода зависит от только через их разность, т. е. зависит только от числа «шагов» пройденных от начального испытания к конечному.

Очевидно, последовательности марковского типа можно рассматривать как непосредственное обобщение последовательностей независимых испытаний, о которых говорилось в гл. I. В терминах вероятностей перехода можно сказать, что у последовательности независимых испытаний , т. е. вероятность перехода в состояние просто совпадает с вероятностью этого состояния при испытании, независимо от результатов других испытаний.

Если случайные величины имеют непрерывное множество возможных значений х, то марковость такого непрерывного процесса с дискретным временем означает существование вероятности перехода, которую можно записать как в интегральной форме:

так и в дифференциальной: