Д. Серии успехов
Рассмотрим марковскую цепь с неотрицательными целыми значениями и матрицей переходных вероятностей вида
где
Нулевое состояние отличается от других тем, что оно может быть достигнуто из всех остальных за один переход, тогда как состояние
достижимо только из состояния
Этот пример очень прост с вычислительной точки зрения, и мы будем часто к нему обращаться для иллюстрации вводимых понятий и получаемых результатов.
Частный случай матрицы переходных вероятностей (2.10) описывает серию повторяющихся испытаний, имеющих два возможных исхода — успех
и неудача
. В каждом испытании вероятность успеха равна а, а вероятность неудачи
. Мы будем говорить, что на
испытании реализовалась серия успехов длины
если последние
испытаний, включая
имели своими исходами последовательность
Мы будем отмечать состояние процесса длиной серии успехов, реализовавшейся на последнем испытании. В частности, если исходом последнего испытания была неудача, то процесс находится в нулевом состоянии. Если же исходы предшествующих
испытаний дали последовательность
то переменная состояния будет помечена индексом
Такой процесс, очевидно, является марковским (поскольку каждое испытание было независимо от всех остальных), а его матрица переходных вероятностей имеет вид (2.10), где