Глава 2. МАРКОВСКИЕ ЦЕПИ
§ 1. ОПРЕДЕЛЕНИЯ
Дискретная марковская цепь 
представляет собой марковский случайный процесс, пространство состояний которого счетно или конечно, а множество индексов 
Мы можем говорить об 
как об исходе 
испытания.
Часто пространство состояний процесса удобно отождествить с множеством неотрицательных целых чисел 
и говорить, что 
находится в состоянии 
если 
Вероятность с. в. 
попасть в состояние 
если известно, что 
находится в состоянии 
(называемая одношаговой переходной вероятностью), обозначается 
т. е.
В таком обозначении подчеркивается, что в общем случае переходные вероятности зависят не только от начального и конечного состояний, но и от момента осуществления перехода. Когда одношаговые переходные вероятности не зависят от временной переменной (т. е. от значения 
мы говорим, что марковский процесс обладает стационарными переходными вероятностями (см. § 3 гл. 1). Именно на этом классе марковских цепей мы и сосредоточим свое внимание.
Итак, отметим, что 
не зависит от 
есть вероятность перехода из состояния 
в состояние 
за одно испытание. Обычно вероятности 
объединяют в матрицу
которую называют марковской матрицей, или матрицей переходных вероятностей марковской цепи,
В матрице 
строка представляет собой распределение вероятностей с. в. 
при условии, что 
Если число состояний конечно, то 
конечная квадратная матрица, порядок которой (число строк) равен числу состояний. Очевидно, вероятности 
удовлетворяют следующим двум, условиям:
Условие (1.3) отражает тот факт, что каждое испытание вызывает некоторый переход из состояний в состояние. (Для удобства мы говорим о переходе и в том случае, когда состояние остается неизменным.)
Процесс полностью определен, коль скоро заданы вероятности (1.1) и состояние (или, более общо, распределение вероятностей) с. в. Ко. Докажем это утверждение.
Пусть 
Достаточно показать, как вычисляются вероятности
для любого конечного 
так как по формуле полной вероятности любые другие вероятности, касающиеся с. в. 
могут быть получены суммированием членов вида (1.4).
По определению условной вероятности имеем 
Но по определению марковского процесса имеем
Подстановка (1.6) в (1.5) дает 
Продолжая по индукции, получаем
