Вероятность достижения границы одномерным марковским процессом

Пусть непрерывный одномерный стационарный марковский процесс в начальный момент времени имеет фиксированное значение , находящееся внутри интервала , т. е. начальная плотность вероятности является дельта-функцией

Нужно найти вероятность того, что случайный процесс, имеющий начальное значение , в течение времени достигнет границ интервала , т. е. достигнет либо границу , либо границу .

Вместо вероятности достижения границ можно интересоваться вероятностью

недостижения границы с или d марковским процессом, имеющим начальное значение . Другими словами,

где — случайный момент времени первого достижения границы с или .

Следуя в дальнейшем изложении работам [105, 106], введем плотность вероятности перехода за время из точки в интервал реализаций процесса, ни разу не коснувшихся границы с или d. Для наглядности можно говорить не о реализациях процесса, а о траекториях движения частиц, первоначально (при ) сконцентрированных в точке . Эта модель позволяет достаточно наглядно интерпретировать полученные результаты.

Рис. 26.1. Достижение границ из начальной точки через промежуточное состояние в момент .

Вероятность частица, границы с или , будет ко времени находиться в какой-либо внутренней точке интервала , с одной стороны, равна , а с другой — . Поэтому

Вероятность того, что достижение границ произойдет за время равна сумме двух вероятностей: вероятности достижения границ за время и вероятности того, что за время границы не будут достигнуты, а это достижение осуществляется за оставшийся промежуток времени . Эта вторая вероятность равна

Действительно, так как достижение границ происходит за время , то в течение промежутка времени частица с вероятностью переходит из начального положения в некоторую внутреннюю точку , а затем из этой точки за время достигает границы или (рис. 26.1).

Следовательно, можно написать

Чтобы из этого соотношения получить дифференциальное уравнение для вероятности , разложим стоящую в (5) под интегралом вероятность в ряд Тейлора в окрестности точки . Тогда получим

Заменяя согласно (4) во втором члене в правой части на , вычитая из обеих частей и разделив результат на , имеем

Сделаем теперь некоторые допущения относительно плотности вероятности . Вообще говоря, плотность вероятности не равна плотности вероятности перехода , введенной в § 10, так как при определении из рассмотрения были отброшены те частицы, которые до момента успели достигнуть границ . Однако, имея в виду дальнейший предельный переход к , мы не будем делать различия между ними, основываясь на том допущении, что при очень малых и или вероятность достижения границ мала, так что

Иначе говоря, считаем, что для достижения границ из точки , не совпадающей с этими границами, требуется некоторое конечное время и поэтому при практически отсутствуют частицы, достигнувшие границ . Поэтому с учетом (11.8) можно положить

Коэффициенты не зависят от времени потому, что процесс предполагался стационарным (однородным по времени).

Переходя в (6) к пределу при и учитывая соотношения (11.10), (11.11) и (7), окончательно получим основное (первое) уравнение Л. С. Понтряпгна [105]

Укажем начальные и граничные условия для полученного дифференциального уравнения в частных производных. Для всех значений , находящихся внутри интервала вероятность достижения границ при , очевидно, равна нулю, т. е.

(26.10)

На границах интервала, т. е. при и , вероятность достижения границ для любого равна единице, т. е.

Это означает, что и граница достоверно будет достигнута уже при . Кроме этих условий, обычно должно выполняться соотношение

(26.12)

выражающее тот факт, что вероятность пересечь границы когда-нибудь за достаточно большое время равна единице.

Обязательное выполнение условий (10) и (11) физически следует из гого, что одномерный марковский процесс неднфференцируем, т. е. производили марковского процесса имеет бесконечную дисперсию (мгновенная скорость процесса бесконечно велика). Однако частица с вероятностью единица смещается за конечное время на конечное расстояние. Поэтому скорость частицы все время меняет знак, и движение происходит в противоположных направлениях. Если частица находится на некотором конечном расстоянии от границ, то она не может их достигнуть мгновенно — условие (10). Наоборот, если частица находится вблизи границ, то она обязательно пересечет их — условие (11).

Отметим, что аналогично решаются задачи о вероятности выхода либо только через левую границу , либо только через правую границу , либо о вероятности невыхода из допустимой области . При этом уравнение (9) остается в силе, а изменяются лишь краевые условия. В частности, для вероятности того, что траектория рассматриваемого марковского процесса в течение времени будет находиться внутри интервала , дифференциальное уравнение и соответствующие начальные и граничные условия будут иметь вид

Полные вероятности и первого достижения границы или соответственно определяются решением стационарного уравнения (9) при надлежащих граничных условиях. Например, вероятность того, что за сколь угодно большое время частица из первоначального состояния попадет в состояние (а не ), есть решение уравнения

при условиях

Решение уравнения (16) с граничными условиями (17) может быть получено в виде

где

Отметим, что при .

Наконец, можно интересоваться вероятностью достижения границы марковским процессом, начальное значение которого — случайно. В этом случае сначала решается задача для фиксированного начального значения , а затем производится осреднение по всем возможным значениям . При этом, если начальное значение распределено на интервале с плотностью вероятности , то по теореме сложения вероятностей полная вероятность достижения границ и определяется соотношением

Для определения вероятности недостижения границы одномерным марковским процессом можно указать довольно общий способ, состоящий в решении уравнения (13) с начальными и граничными условиями (14), (15) методом разделения переменных [37]. Вероятность достижения границы далее легко определяется из соотношения (2). Применять метод разделения переменных непосредственно для решения уравнения (9) с начальными и граничными условиями (10), (11) нельзя, так как в этом случае граничные условия (11) будут неоднородными и соответствующая система собственных функций может быть неортогональна (107).

Представим искомое решение уравнения (13) в виде

Применяя обычную процедуру разделения переменных, для функций и получим следующую систему уравнений:

Решение уравнения (20) имеет вид .

Предположим, что может быть найдено общее решение уравнения (21)

Для определенных постоянных и из граничных условий (15) следует система алгебраических уравнений

(26.22)

Так как нас интересует нетривиальное решение этой системы, то должно выполняться условие

(26.23)

Условие (23) выполняется при некоторых значениях , которые называются собственными числами. Таким образом, (23) можно рассматривать как алгебраическое уравнение для определения собственных чисел э Это уравнение называется характеристическим.

Кроме того, из (22) следует связь между постоянными и . Например,

(26.24)

Таким образом, в зависимости от собственные функции с точностью до постоянной будут иметь вид

Суммируя по всем вероятности получим

(26.26)

Постоянные определяются из начальных условий (14) с использованием ортогональности собственных функций .

Умножая обе части последнего равенства на и интегрируя по всем значениям , имеем

(26.27)

Следовательно, если может быть найдено общее решение уравнения (21), то для вероятности из (25)—(27) получается аналитическое выражение.

Однако даже в самых простых случаях характеристическое уравнение (23) для определения собственных чисел будет трансцендентным. И хотя ряд (26), как правило, довольно быстро сходится (т. е. можно учитывать лишь несколько первых членов этого ряда), для определения нескольких наименьших по абсолютной величине собственных чисел требуется численное решение (23) на ЦВМ. Кроме этого, не всегда можно найти общее решение уравнения (21). Поэюму применение численных методов непосредственно для решения уравнения (13) на ЦВМ в некоторых случаях может оказаться более эффективным.

Пример 1. Для иллюстрации применения метода разделения переменных в задаче об определении вероятности невыхода марковского процесса за заданные границы рассмотрим простой пример. Пусть требуется найти вероятность невыхода за границы внперовского процесса , поведение которого определяется стохастическим дифференциальным уравнением

где — нормальный «белый» шум с нулевым средним значением и дельта-функцией корреляции (см. § 14). В этом случае и уравнение (21) принимает вид

Общее решение этого уравнения

где собственные числа согласно (23) равны

Из соотношений (25), (27) следует

Подставляя найденные значения собственных чисел, собственных функции и постоянных в (26), получим

(26.29)

Отметим, что для произвольных границ аналитическое выражение может быть получено простой заменой переменных

(26.30)

Полная вероятность достижения границы согласно (18) равна

Наконец, если начальное значение — случайно и равномерно распределено на , то можно вычислить безусловную вероятность (не зависящую от ) пребывания в заданной области

Пример 2. В качестве второго примера рассмотрим поведение системы фазовой автоподстройкн частоты (ФАП) первого порядка с синусоидальной характеристикой дискриминатора при воздействии на входе системы гармонического сигнала с амплитудой и аддитивного белого шума , которая описывается нелинейным стохастическим дифференциальным уравнением первого порядка (22.20)

(26.31)

Как укалывалось в § 22, система (31) имеет счетное число состояний равновесия, из которых устойчивым состояниям соответствуют значения фазового рассогласования

а неустойчивым

(26.33)

Когда имеет место переход из окрестности какого-либо устойчивого состояния равновесия в соседние состояния устойчивого равновесия, принято условно говорить о перескоках фазы [81]. Под срывом слежения (синхронизации) понимают выход координаты за границы соседних состояний неустойчивого равновесия. При этом предполагается, что начальное значение фазового рассогласования .

Вычислим вероятность слежения и отсутствие перескоков фазы в системе (31), в зависимости от произвольного значения фазового рассогласования . Эта зависимость позволяет, в частности, учесть случайный характер , что часто встречается на практике. Обычно принимают, что равномерно распределена на заданном интервале.

Для системы (31) коэффициенты сноса и диффузии марковского процесса определяются выражениями (22.34):

(26.34)

В этом случае первое уравнение Понтрягина для вероятности нахождения к моменту времени траектории марковского процесса внутри интервала имеет вид

(26.35)

где

Соответствующей заменой переменных в (35) можно убедиться, что значение не зависит от того, в окрестности какого устойчивого состояния равновесии рассматривается задача достижения границ, т. е.

(26.37)

Поэтому при вычислении вероятности слежения можно ограничиться рассмотрением достижения точек неустойчивого состояния равновесия, ближайших к , т. е. положить

(26.38)

Рис. 26.2. Зависимость вероятности слежения от начального значения и времени при .

Аналогично, при исследовании вероятности отсутствия перескоков фазы можно ограничиться точками

(26.39)

Таким образом, задача сводится к нахождению решения уравнения (35) с начальным условием

(26.40)

и граничными условиями

(26.41)

Получить аналитическое решение уравнения (35) с начальными и граничными условиями (40), (41) не удается. Результаты численного решения на ЦВМ [108] представлены на рис. 26.2 — 26.7.

Рис. 26.3. Зависимость вероятности слежения от начального значения и времени при .

На рис. 26.2, 26.3 показаны двумерные зависимости вероятности слежения для значения отношения снгнал/шум при относительных начальных расстройках по частоте (рис. 26.2) и (рис. 26.3). Из рисунков видно, что симметричная по в отсутствие начальной расстройки поверхность становится несимметричной при ее наличии, а вероятность слежения уменьшается.

На рис. 26.4, 26.5 сплошными кривыми изображены графики зависимости вероятности слежения от времени при условии, что первоначально система находилась в устойчивом положении равновесия.

Рис. 26.4. Зависимость вероятности слежения от времени при различных отношениях сигнал/шум.

Рис. 26.5. Зависимость вероятности слежения от времени при различных начальных расстройках.

Пунктиром представлены значения вероятностей слежения, усредненных по случайным равномерно распределенным на рассматриваемом интервале начальным ошибкам по фазе . Из рисунков видно, что учет случайного характера начального рассогласования по фазе приводит к заметному уменьшению вероятности слежения. Аналогичные зависимости вероятности отсугствия перескоков фазы показаны на рис. 26.6, 26.7.

Применительно к квазикогерентным системам радиоприема сигналов на фоне шума полученные данные позволяют определить вероятность нарушения синхронного режима работы приемного устройства.

26.6. Зависимость вероятности отсутствия перескоков фазы от времени при различных отношениях сигнал/шум.

Рис. 20.7. Зависимость вероятности отсутствия перескоков фазы от времени при различных начальных расстройках.

Пользуясь ими, можно также указать вероятность отсутствия случаев так называемой обратной работы в системах фазовой телеграфии.