5.11. Энтропия комбинированного марковского процесса, условного процесса и части компонент марковского процесса

1. На случай непрерывного времени могут быть обобщены результаты и методы, изложенные в § 5.3. Предполагается, что совокупный процесс является марковским. Теория марковских процессов позволяет вычислять энтропию где вероятностная мера, относительно которой мера Р является абсолютно непрерывной. Меру удобно подбирать таким образом, чтобы процессы были для этой меры независимыми:

и марковскими, т. е. чтобы

Тогда будут справедливы соотношения

аналогичные соотношениям (5,3.1), (5.3.6), (5.2.5) дискретной версии.

В случае непрерывного времени удобно ввести энтропийные плотности

Полагая в (5.11.1) сначала а затем взяв разность этих выражений и используя свойство аддитивности типа (1.7.18), получаем соотношение

Поделив на и перейдя к пределу получим соотношение

Аналогичное соотношение

справедливо, очевидно, и для другой пары энтропийных плотностей

В стационарном случае плотность как видно из (5.11.4), не зависит от Другие энтропийные плотности при этом целесообразно определить с помощью дополнительного предельного перехода В этом случае энтропии будут строго пропорциональны и предельный переход станет излишним. Формулы (5.11.5), (5.11.6) заменяются следующими:

(и аналогично для другой пары При этом соотношения (5.11.8), (5.11.9) сохраняют свое значение. Все эти энтропийные плотности в стационарном случае будут постоянными. Можно доказать, что они совпадают с удельными энтропиями, т. е. доказать равенства:

Можно доказать кроме того, что для плотности аналогично для в стационарном случае справедлива формула

Все эти утверждения распространяют на случай непрерывного времени соответствующие утверждения, доказанные в § 5.3.

Обобщая методы § 5.3, можно вычислить энтропию или ее плотность для части компонент марковского процесса и энтропию или условного марковского процесса а также аналогичные энтропии Ну

Рассмотрим энтропию Ее можно представить

в таком виде:

Тогда имеем

В силу условия Маркова указанное равенство можно записать так:

где обозначено

Подставляя (5.11.11) в (5.11.10), получаем формулу

Если апостериорную меру трактовать как распределение в комбинированном пространстве (см. (5.3.17)), то формула

(5.11.12) запишется в виде

или

где усреднение М проводится только по случайным переменным образующим вторичный апостериорный -процесс, являющийся марковским процессом с известными вероятностями перехода.

Формулы (5.11.12), (5.11.12а) являются обобщением формул (5.3.15), (5.3.16) дискретной версии. Они справедливы при любых но для вычисления ими удобнее пользоваться при малых Это будет видно из рассматриваемых ниже частных случаев.

2. Пусть теперь марковский процесс с дискретным числом состояний, подобный процессу, рассмотренному в § 5.9. Он характеризуется введенной в § 5.9 дифференциальной матрицей перехода определяющей вероятности перехода Выбирая в качестве пуассоновскую меру для точек перехода, получаем плотность энтропии Нррг

Процесс пусть строится следующим образом. Задан зависящий не только от но и от вектор сносов а также матрица локальных дисперсий Последнюю предполагаем невырожденной и не зависящей от

Тогда при фиксированной реализации процесс будет диффузионным процессом, рассмотренным в § 5.10. Применяя полученные там результаты, мы можем найти плотность энтропии В качестве меры выбираем меру диффузионнонного процесса с нулевыми сносами и с той же матрицей локальных дисперсий В соответствии с (5.10.12) имеем

Для получения плотности энтропии остается в (5.11.14) произвести дополнительное усреднение по

В силу аддитивности (5.11.2), (5.11.9) тем самым найдена энтропийная плотность для комбинированного марковского процесса Именно, в (5.11.9) следует подставить выражения (5.11.13), (5.11.15).

Другие энтропийные плотности согласно (5.11.1) связаны аналогичным соотношением (5.11.8). Поэтому для завершения вычисления всех плотностей остается вычислить одну из них.

Описанный выше процесс (при нефиксированной реализации является немарковским процессом. Соответствующую ему энтропию вычислим, используя формулу (5.11.12).

При малых из (5.10.11) имеем

Подставляя это выражение в (5.11.11) и для краткости обозначая будем иметь

Согласно (5.11.10), (5.11.12) следует взять логарифм от последнего выражения. При его логарифмировании нужно оставить лишь следующие члены:

Усреднение его будем проводить в несколько этапов: сначала усредним по при фиксированных потом по (с весом при фиксированных и в последнюю очередь по или, что то же самое, по На первом этапе усреднения нужно учесть формулы

так что

Дальнейшее усреднение приведет к результату

Совершая предельный переход найдем

Найти входящее сюда распределение помогает то обстоятельство, что переменные образуют марковский процесс, названный в монографии Стратоновича [4] вторичным апостериорным -процессом. Там найдено уравнение Фоккера — Планка, которому удовлетворяет плотность распределения вероятностей процесса Оно имеет вид

Указанные результаты справедливы как в стационарном, так и в нестационарном случае. В стационарном случае функции не зависят от времени. Плотность энтропии при этом постоянна и вычисляется по формуле (5.11.17) при помощи стационарного распределения являющегося решением стационарного уравнения (5.11.18), в котором следует положить

По аналогии с (5.3.17) вместо можно рассматривать как распределение во всем «фазовом пространстве» марковского процесса (такой процесс будет марковским). Тогда формулу (5.11.17) можно будет записать следующим образом:

Итак, удельная энтропия а значит и энтропия вычисляется методами, использующими результаты теории условных марковских процессов.

Пример. Пусть процесс с двумя состояниями и матрицей перехода (5.9.6). В § 5.9 была найдена соответствующая ему удельная энтропия

Процесс определим как одномерный диффузионный процесс с постоянной локальной дисперсией и с не зависящими от у и но зависящими от х сносами

Тогда формула (5.11.15) дает

или

если учесть (5.9.7).

Сумма выражений (5.11.19), (5.11.20) дает удельную энтропию комбинированного процесса.

Перейдем к вычислению удельной энтропии для данного примера. Вводя переменную средний снос а можно представить в виде

Подставляя это выражение в (5.11.17), имеем

Нетрудно понять, что усреднение апостериорных вероятностей приводит к априорным вероятностям которые в стационарном случае имеют вид (5.9.7). Поэтому

и формулу (5.11.21) можно преобразовать к виду

или

Процесс в данном случае является марковским сам по себе. Ему соответствует уравнение Фоккера — Планка

вытекающее из (5.11.18).

Приравнивая производную нулю и интегрируя получающееся уравнение, получаем стационарную плотность распределения вероятностей

Входящий в выражение (5.11.22) интеграл с этой плотностью распределения был вычислен в [4] и оказался равным

где функция Макдонольда (Рыжик И. М., Градштейн И. С. [1]).

Подстановка (5.11.24) в (5.11.22) решает задачу вычисления удельной энтропии стационарного немарковского процесса у. Комбинируя (5.11.19),. (5.11.20), (5.11.22), легко найти энтропию условного марковского процесса

3. Изложенный выше вывод формулы (5.11.17) применим и в других случаях, например, когда процесс является диффузионным марковским процессом или образует часть компонент комбинированного диффузионного марковского процесса Рассмотрим последний случай подробнее. Пусть комбинированный марковский процесс, имеющий компоненты

описывается вектором сносов -матрицей локальных дисперсий Предполагается, что подматрица последней является невырожденной и независящей от х.

Тогда по аналогии с (5.11.17) справедлива формула

где усреднение соответствует усреднению с апостериорной плотностью вероятности

которая удовлетворяет полученному в указанной монографии [4] уравнению

Второе усреднение в (5.11.25) соответствует усреднению по марковскому процессу как стационарному случайному процессу.

4. До сих пор процесс предполагался диффузионным Аналогичные результаты можно получить, скажем для того случая, когда процесс есть процесс с конечным или счетным числом состояний.

Пусть марковский процесс с матрицей перехода подобный процессу в При фиксированной реализации процесс пусть является марковским процессом с дискретными состояниями, описываемыми дифференциальными вероятностями перехода зависящими от Тогда комбинированный процесс также будет марковским процессом с дискретными состояниями. Ему будет соответствовать дифференциальная матрица перехода

В данном случае энтропия процесса и энтропия комбинированного процесса могут быть подсчитаны путем применения формулы (5.9.4). Подсчет энтропии или ее плотности требует особого рассмотрения, поскольку процесс взятый в отдельности, является немарковским.

В принципиальном отношении соответствующий расчет может быть проведен так же, как и в п. 2. Воспользуемся формулой (5.11.12), выбирая теперь в качестве меры пуассоновскую меру (для моментов перескока процесса с единичной плотностью. При малом х будем иметь

Подставляя это выражение в (5.11.12), находим

Здесь, в первую очередь, произведено усреднение по затем усреднение по с весом а потом усреднение по прочим переменным.

Из (5.11.27) вытекает следующая формула для энтропийной плотности:

Отличие этой формулы от формулы

(т. е. от формулы (5.9.4), взятой при в том, что заменены на апостериорные средние

и имеется усреднение не по с весом а усреднение по с весом Процесс является вторичным апостериорным марковским процессом и для него нетрудно найти вероятности перехода, которые определяют, в частности, стационарное распределение

Формулу (5.11.28) интересно сравнить с условной энтропией

Это выражение мы записали по аналогии с (5.11.29), считая значение фиксированным, а затем усредняя по нему.

Изложенный метод вычисления плотности энтропии может быть распространен и на случай, когда процесс в отдельности не является марковским, а марковским процессом (с дискретными состояниями) является комбинированный процесс Пусть он описывается дифференциальной матрицей перехода В этом случае вид результирующей формулы (5.11.28) остается без изменения. Аналогично вычисляется и

Из вышеизложенного видно, что описанный метод вычисления энтропии для части компонент марковского процесса имеет широкую область применения. В нем наиболее трудным этапом является отыскание распределения для вторичного апостериорного Н-процесса.