5.9. Энтропия дискретного марковского процесса в непрерывном времени

Рассмотрим марковский процесс с дискретным пространством состояний, т. е. имеющий конечное или счетное число возможных состояний. В отличие от процесса, рассмотренного в § 5.2, он протекает теперь в непрерывном времени. Пусть его вероятности переходов определяются дифференциальной вероятностью перехода в соответствии с формулой

В силу условия нормировки имеем что соответствует (5.2.2).

Если процесс стационарный, то матрица не зависит от времени

На данный марковский процесс могут быть распространены методы и результаты, изложенные в § 5.2.

Любая конечная совокупность случайных значений является для данного процесса совокупностью дискретных случайных величин. Поэтому их энтропию можно вычислить по формулам дискретной версии. В частности, если процесс задан на интервале [0, 71, энтропия начального значения равна

Если, однако, мы хотим вычислить энтропию непрерывного множества значений то мы должны применить формулы обобщенной версии, т. е. теорию § 1.6 и 5.6.

Обозначим через те точки временной оси, т. е. те моменты времени, в которых происходят скачкообразные изменения состояния процесса. Вспомогательную меру определим как пуассоновскую меру (с единичной плотностью) для системы случайных точек Выделяя энтропию начального значения (5.9.1) по формуле

условную энтропию или короче определим формулами (1.7.17а), (1.7.17), (5.6.1) обобщенной версии. Тогда будем иметь

Вследствие мультипликативного свойства меры энтропия обладает свойством иерархической аддитивности

Согласно условию марковости процесса последнюю формулу можно записать

Так что

Это равенство является аналогом равенства (5.2.6), относящегося к случаю дискретного времени.

Как отмечалось в § 5.6, для стационарного процесса энтропия о пропорциональна Вследствие условия Маркова это относится и к энтропии Формула (5.6.10) принимает вид

Учитывая это, из (5.9.1а) или (5.9.2) имеем

Сравнивая эту формулу с (5.6.18), видим, что в данном случае и

Соотношением (5.9.2) удобно воспользоваться при малых чтобы вычислить удельную энтропию по аналогии с тем, как это было сделано в § 5.8 (см. (5.8.23), (5.8.24а)).

При малых можно пренебречь вероятностью выпадения на ( больше чем одной точки перехода. Тогда останутся лишь такие возможности: не произойдет перехода с вероятностью

или произойдет переход в состояние с вероятностью Аналогично (5.8.25) записываем

энтропию этих событий:

Усредняя по и совершая предельный переход

отсюда получаем

Учитывая, что в силу (5.9.4) имеем

Здесь, как и в (5.9.4), стационарные вероятности, определяемые из уравнения

Последнее уравнение аналогично (5.2.7), а формула (5.9.4) является обобщением на случай непрерывного времени приведенной ранее формулы (5.2.8).

Пример. Пусть имеется процесс с двумя состояниями, характеризуемый дифференциальными вероятностями перехода

Уравнение (5.9.5) принимает вид

так что стационарные вероятности оказываются такими:

(ср. с (5.2.19)). По формуле (5.9.4) записываем удельную энтропию

Этот результат совпадает с (5.8.32) и это естественно, поскольку рассмотренный в примере 2 § 5.8 процесс становится марковским процессом с двумя состояниями, если распределения

экспоненциальные. При других видах распределений процесс с двумя состояниями будет немарковским, но станет марковским, если к добавить еще одну переменную, а именно время прошедшее после момента последнего перескока. Комбинированный процесс будет марковским. Пространством состояний для него будут две полупрямых. Несмотря на такое усложнение, к нему применима почти без усложнений описанная выше теория.

Сформулируем в заключение этого параграфа указанное обобщение на произвольное пространство в более полном виде.

Пусть пространство состояний X марковского процесса произвольно. Дифференциальная вероятность перехода такова, что из каждой точки возможны переходы лишь в конечное или счетное множество точек. Тогда удельная энтропия определяется формулой

где стационарное распределение, определяемое из уравнения

(А произвольно), обобщающего (5.9.5). В данном случае формула (5.9.1) может оказаться несправедливой, и для определения может потребоваться мера

Приведенные формулы (5.9.4), (5.9.8) можно применять не только в стационарном случае для вычисления средней по времени удельной энтропии. Они пригодны также вследствие марковских свойств процесса и в нестационарном случае, а именно, определяют плотность энтропии рассчитанную на единицу времени, которая может зависеть от времени При этом усреднение в них следует производить с нестационарным распределением