§ 23. Марковский процесс с дискретными состояниями

Перепишем уравнение Смолуховского (22.3) для трех последовательных моментов времени

Допустим, что для достаточно малых вероятность перехода имеет вид

где - члены выше первого порядка относительно . Мы учитываем в (23.2), что при конечное состояние с достоверностью совпадает с начальным, т. е.

а кроме того, предполагаем существование производной

Очевидно, при есть вероятность перехода за время из состояния в другое состояние Тем самым, при должно быть

Так как вероятность перехода в какое-нибудь из возможных состояний должна равняться единице:

имеем

Подставим (23.2) в правую часть (23.1) и перейдем к пределу при . Это приводит к следующему основному уравнению (точнее — системе уравнений) для марковского процесса с дискретными состояниями

При начальных условиях (23.3) эти уравнения определяют зависимость вероятностей перехода от времени. Если число возможных состояний конечно, то нетрудно показать, что для

любых непрерывных удовлетворяющих условиям (23.5) и (23.7), уравнение (23.8) с начальным условием (23.3) имеет единственное решение, неотрицательное и удовлетворяющее (23.1) и (23.6), т. е. определяет марковский процесс. При бесконечном множестве возможных состояний вопрос о единственности и допустимости решения требует специального исследования, которое и проводилось в ряде математических работ. С точки зрения практических приложений этот вопрос не является обычно особо острым.

Наряду с (23.8) справедливы также следующие дифференциальные уравнения по начальному моменту

которые легко получить, выбрав промежуточный момент времени близким не к конечному, а к начальному моменту

Уравнениям (23.8) удовлетворяют не только вероятности перехода, но и одномерная вероятность состояния . Действительно, если задана начальная функция распределения

    (23.10)

Умножив (23.8) на и взяв сумму получим в силу (23.10)

    (23.11)

Эти уравнения надо интегрировать при начальных условиях

    (23.12)

Если рассматриваемый марковский процесс однороден, т. е. вероятность перехода имеет вид вместо то, согласно (23.4), — постоянные величины и уравнения (23.8) принимают вид

    (23.13)

В предположении, что при вероятности перехода «забывают» об исходном состоянии и превращаются в стационарные вероятности состояния (наличие эргодичности):

мы получаем для нахождения согласно (23.6) и (23.13) уравнения

    (23.14)

Рассмотрим два примера, относящиеся к однородным процессам.

1. Двусторонняя реакция. Система может при этом находиться в одном из двух состояний 1 и 2. В частности, речь может идти о распаде частицы (ионизация, диссоциация, химическое разложение, радиоактивный распад), когда состояние -это нераспавшаяся частица, а состояние 2 — распавшаяся.

В общем случае возможен как процесс распада (переход с вероятностью за время ), так и процесс восстановления (переход с вероятностью за время ). Таким образом, и, согласно (23.7), , так что уравнения (23.11) для вероятностей состояния

принимают вид

Второго уравнения можно было бы и не писать, а исключить из первого, пользуясь тем, что Тогда

Пусть при задано (соответственно т. е. система с достоверностью находится первоначально в состоянии 1. Решение будет

При достигаются стационарные значения обеих вероятностей, не зависящие от начальных условий:

т. е. процесс эргодичен. Если восстановление невозможно как это имеет место, например, в радиоактивном распаде, то

2. Двухпозиционное реле. Пусть оно находится под воздействием случайной последовательности управляющих импульсов,

с одинаковой вероятностью имеющих знаки плюс или минус. Пусть положительный импульс создает или сохраняет состояние 1, отрицательный — создает или сохраняет состояние 2. Тогда вероятность изменения состояния за время и, согласно Очевидно, мы имеем здесь, частный случай предыдущей схемы, соответствующий Но теперь мы напишем уравнения (23.13) для четырех вероятностей перехода

которые надо решать при начальных условиях (23.3). Решения имеют вид

Мы снова видим, что процесс эргодичен: при вероятности перехода стремятся к стационарным значениям (как это и должно быть, поскольку все именно:

В обоих примерах мы имеем монотонное приближение вероятностей к их предельным значениям. Возможен, однако, и осцилляторный ход, т. е. затухающие колебания. Если искать частное решение уравнений (23.13), пропорциональное то для определения X в случае N возможных значений получится характеристическое уравнение

т. e. уравнение степени относительно . Эргодичность будет иметь место в том случае, если полином по степеням , остающийся в левой части после сокращения на некоторую степень , будет полиномом Гурвица, т. е. все отличные от нуля корни А будут иметь отрицательные вещественные части. Очевидно, затухающие колебания будут происходить в том случае, когда среди корней имеются комплексно-сопряженные пары.

В примере двухпозиционного реле имелось два корня, а именно . В цитированной работе А. Н. Колмогорова [3] приведен следующий пример для

Корни характеристического уравнения здесь равны

так что вероятности перехода стремятся к стационарным значениям совершая затухающие колебания.