2.6.3. Марковский процесс первого порядка

После того, как был рассмотрен случайный процесс, который не зависит от своей истории, рассмотрим процесс, который зависит от предыстории только в данный момент времени. Условная плотность вероятности такого процесса удовлетворяет соотношению

Другими словами, временная эволюция случайного процесса определяется данным моментом времени. Можно сказать, что будущее определяется только событиями в настоящий момент времени и не зависит от его предыстории. Такой процесс известен как марковский процесс, или, более точно, как марковский процесс первого порядка, чтобы отличить его от марковсокого процесса высшего порядка, описываемого ниже.

Из (2.6.1) следует, что

и, с учетом марковского свойства (2.6.6), имеем

Эта формула представлена в виде рекурсивного соотношения, повторное применение которого приводит к результату

Для марковского процесса условная плотность вероятности известна как плотность вероятности перехода. Она определяется динамикой случайного процесса и не зависит от поведения в более ранние, чем моменты времени. Тогда совместная плотность вероятности любого порядка полностью определяется через и плотность вероятности перехода и индексы (1,1), обычно, опускаются. Это делает рассмотрение марковского процесса особенно простым. Плотность вероятности перехода подчиняется простому интегральному соотношению для марковсокого процесса (Smoluchowski, 1906; Chapman, 1916; Kolmogoroff, 1931). Начнем с общего соотношения согласованности при

которое справедливо для любого процесса и воспользуемся (2.6.7), чтобы заменить под интегралом. Тогда получим

и, деля обе части на приходим к интегральному соотношению

которое известно как соотношение Смолуховского — Чапмена — Колмогорова. Оно является необходимым, но не достаточным условием того, чтобы процесс был марковским процессом первого порядка.