2. Цепи Маркова

Определение цепи Маркова

Рассмотрим некоторую физическую систему, имеющую конечное число всех возможных фазовых состояний . Пусть в зависимости от вмешательства случая система шаг за шагом (и моменты времени ) скачкообразно меняет свое состояние, т. е. имеют место переходы , где — состояние системы через шагов, а в — начальное состояние системы.

Полное вероятностное описание системы при разных . На основании теоремы умножения чвероятностей можем написать

где — одно из возможных фазовых состояний . Расписывая аналогично вероятность , получаем

где — вероятность начального состояния (в момент времени )

— условная вероятность, т. е. вероятность перехода на шаге:

Следовательно, для вычисления совместных вероятностей нужно задать начальное состояние системы и указать физический механизм осуществления смены состояний, позволяющий вычислить вероятности перехода . Исходя из возможной простоты решения задачи, можно указать следующие частные случаи.

1. Смена всех состояний происходит независимо, т. е. вероятность какого-либо состояния на шаге не зависит от того, в каких состояниях находилась система в предыдущие моменты времени. В данном случае

и формула (2) существенно упрощается

Как известно, такой формулой описывается последовательность независимых испытаний. Это есть частный (вырожденный) случай цепи Маркова.

2. К определению общей простой цепи Маркова приводит более общая возможность, когда вероятность фазового состояния пара: метра в момент времени зависит лишь от того, в каком состоянии находилась система в непосредственно предшествующий ему момент времени , и не зависит от того, в каких состояниях находилась система в более ранние моменты времени .

Это свойство характерно для всех видов марковских процессов. Именно поэтому марковские процессы также называют процессами без последействия.

Таким образом, последовательность состояний или совокупность дискретных случайных величин образует простую цепь Маркова, если для всех и всех возможных значений случайных величин имеет место соотношение

Условные вероятности принято называть вероятностями перехода.

Нетрудно убедиться, что для простой марковской цепи формула (2) принимает вид

Отсюда видно, что полное вероятностное описание простой цепи достигается заданием вероятностей начального состояния и иероятностей перехода

Отметим, что для двух случайных величин соотношение (6) следует из георемы умножения вероятностей и может быть написано всегда. Но уже для трех случайных величин формула (6) накладывает существенное ограничение на вид возможных совместных вероятностей.

3. Можно также ввести определение цепи Маркова порядка , если вероятность нового состояния зависит только от состояний системы, непосредственно ему предшествующих:

Значение соответствует простой цепи Маркова, а при имеем сложную цепь Маркова порядка .

Сложная цепь Маркова порядка может быть сведена к простой цепи Маркова для -мерного вектора. Для этого воспользуемся тем обстоятельством, что члены конечной случайной последовательности (длины ) можно рассматривать как составляющие случайного вектора. Пусть

— случайный вектор мерности , состоящий из компонент . На предыдущем шаге -мерный вектор, очевидно, равен

причем выполняется следующее соотношение между компонентами векторов и :

Следовательно, сложная цепь Маркова порядка представляет собой частный случай простой -мерной цепи Маркова, если положить вероятность перехода равной

где — символ Кронекера: при и при . Отметим, что вероятности перехода (11) отличны от нуля и совпадают с соответствующими вероятностями (8) только для векторов, компоненты которых удовлетворяют соотношениям (10).

Случайные цепи, определенные соотношением (6), а также более общего вида, называются марковскими потому, что они впервые систематически изучались известным русским математиком А. А. Марковым.