Дискретная модель непрерывного процесса

Чтобы представить себе характер изменения координаты непрерывного марковского процесса при малых , полезно рассмотреть предельный переход от цепи Маркова к непрерывному процессу.

Введем в рассмотрение однородную цепь Маркова, в которой за единицу времени возможны переходы из любого -го состояния в три ближайших состояния: и с вероятностями в соответственно. Пусть — вероятность перехода за m шагов (см. (2.24)). Тогда на основании уравнения Маркова (2.16) можем написать

(10.17)

Будем рассматривать реализации процесса как траектории движения некоторой частицы. Ограничимся следующей моделью характера движения. Пусть частица совершает малые перемещения вдоль оси в течение малого интервала времени . Если частица в момент времени находится в состоянии , то вероятности того, что в момент времени она окажется в состояниях , равны соответственно . Обозначим через условную вероятность нахождения частицы в интервале в момент времени , если в момент времени она находилась в состоянии .

По аналогии с уравнением (17) можем написать

или после сокращения на

Чтобы перейти к непрерывному случаю, нужно положить и стремящимися к нулю. При этом оказывается необходимым наложить некоторые ограничения на вероятности и .

Введем среднее значение условного приращения (при фиксированном ) координаты за малое время

а также дисперсию этого приращения

Обозначим предельные значения этих величин через

Если частица в момент времени находится в состоянии , то возможные значения изменения ее состояния в течение следующего малого интервала есть причем вероятности этих изменений равны соответственно и . По известным правилам находим среднее значение условного приращения координаты за время

а также дисперсию этого приращения

При этом

Чтобы эти предельные значения были конечными, выражения (20) и (21) определяют допустимый вид вероятностей и , а также требуют согласованного стремления и к нулю. С учетом последнего обстоятельства и берется предел при одновременном стремлении и к нулю.

Предположим, что в интересующей нас области значений величина ограничена, т. е.

(10.22)

Если теперь положить

то равенства (20) и (21) будут выполнены.

Следовательно, в дискретной модели непрерывного марковского процесса элементарные приращения пространственной координаты за малое время должны иметь порядок не больший, чем , т. е. вероятности и отличаются отодной и той же постоянной на малую величину , так что разность между ними имеет порядок .

Допустим, что входящие в уравнение (18) функции можно дважды дифференцировать и их можно представить рядом Тейлора. Например,

Если подставить такие разложения в (18), выразить и их производные через согласно (24), учесть равенство (23), разделить результат на и перейти затем к пределу при , то для непрерывного процесса получим уравнение

или

Полученное дифференциальное уравнение в частных производных принадлежит к параболическому типу и играет фундаментальную роль при изучении непрерывных марковских процессов (см. § 11). Наше рассмотрение дискретной модели непрерывного процесса преследовало две цели: 1) установить, что приращения непрерывного марковского процесса за малое время имеют порядок, не больший ; 2) проиллюстрировать связь между цепями Маркова и непрерывными марковскими процессами, которые будут подробно рассмотрены в последующих параграфах.