5.3. Удельная энтропия части компонент дискретного марковского процесса и условного марковского процесса

1. Вычислим удельную энтропию стационарного немарковского дискретного процесса который, однако, может быть дополнен до марковского процесса присоединением добавочных компонент Совокупность будет образовывать фазовое пространство марковского процесса, и процесс уже будет марковским. К нему можно применять результаты предыдущего параграфа и, в частности, находить удельную энтропию, которую будем обозначать Энтропия исходного процесса отличается от энтропии

марковского процесса на условную энтропию называемую энтропией условного марковского процесса (при, фиксированном

Наряду с удельной энтропией стационарного марковского процесса введем удельную энтропию исходного -процесса

и условного х-процесса

Они вследствие (5.3.1) связаны с соотношением

Нетрудно понять, что можно также рассматривать -процесс как априорный немарковский (в общем случае) процесс и условный -процесс при фиксированном х. Им будут соответствовать удельные энтропии

Соотношения (5.3.1), (5.3.4) при этом заменяются на

Поскольку энтропию марковского процесса мы уже умеем находить, достаточно научиться вычислять лишь одну из величин или Вторая находится при помощи (5.3.4). Вследствие симметрии соответствующая величина из будет вычисляться тем же способом, а вторая — из соотношения (5.3.7).

Излагаемый ниже метод можно применять для вычисления энтропии условного марковского процесса как в стационарном, так и в нестационарном случае. Стационарные же распределения вероятностей и пределы (5.3.2), (5.3.3), (5.3.5), как правило, существуют только в стационарном случае.

Условную энтропию можно представить в виде суммы

и предел (5.3.3) заменить на предел

Об эквивалентности двух таких представлений удельной энтропии была речь в теореме 5.1. Конечно, теперь процесс является условным и поэтому нестационарным. Прямо применять к нему теорему 5.1. нельзя, поэтому необходимо произвести ее обобщение.

Теорема 5.2. Для стационарного процесса пределы (5.3.3) и (5.3.8) совпадают.

Доказательство. Поскольку

то имеем

(предполагается, что оценка равномерна

Представим в виде суммы трех чисел: Подставляя (5.3.9) в равенство

получаем

Здесь

и

так как условная энтропия не больше безусловной. Поэтому, если в (5.3.10) совершить предельный переход причем то в этом выражении останется лишь один член Это доказывает теорему Как видно из приведенного доказательства, теорема 5.2 справедлива не только в случае марковского совокупного процесса Для марковского же процесса вследствие условия Маркова, имеем

и

Следовательно, формула (5.3.8) принимает вид

2. Перейдем к вычислению энтропии «-процесса и условного процесса для марковского совокупного процесса. Для этого рассмотрим условную энтропию

определяющую согласно (5.1 3) в пределе

удельную энтропию

Пользуясь условием марковости (5 2 1), запишем многомерное распределение вероятностей

где обозначает пару

Применяя формулу обратной вероятности (формулу Бейеса), отсюда получаем

Следуя теории условных марковских процессов (Стратонович [9]), введем финальные апостериорные вероятности

При помощи них выражение (5.3.13) запишется так:

или

если обозначить и формула (5.3.11) принимает вид

Здесь символ М указывает усреднение по у и- Если же подставить (5.3.15) в формулу

то будем иметь

де символ М обозначает усреднение по

Удобно рассматривать апостериорные вероятности как распределение по обеим переменным доопределяя их формулой

Тогда формула (5.3.15) примет вид

и равенство (5.3.16) можно будет записать

Здесь, как и в (5.3.16), М указывает усреднение по но подлежащее усреднению выражение, очевидно, зависит от лишь через посредство апостериорных вероятностей Поэтому в (5.3.18) можно считать, что символ М соответствует усреднению по случайным величинам пространство состояний процесса число его состояний). Вводя закон распределения для этих случайных величин, придаем формуле (5.3.18) вид

Это и есть основной результат. Мы видим, что для вычисления условной энтропии части компонент марковского процесса нужно исследовать апостериорные вероятности как самостоятельный случайный процесс. Этот процесс изучается в теории условных марковских процессов. Известно, что с ростом указанные вероятности преобразуются по определенным рекуррентным соотношениям. Чтобы вывести последние, запишем равенство, аналогичное (5.3.14), но с заменой на

Подставляя сюда (5.3.14), получаем рекуррентные соотношения

Процесс , рассматриваемый как самостоятельный случайный процесс, носит название вторичного апостериорного -процесса. Как известно из теории условных марковских процессов, он является марковским. Рассмотрим его вероятность перехода.

Преобразование (5.3.20), которое можно также записать

явно зависит от случайной величины Ее апостериорные вероятности совпадают с (5.3.15) и, следовательно, полностью определяются «состоянием» вторичного апостериорного процесса в момент Итак, каждое

преобразование (5.3.21) осуществляется с вероятностью (5.3.15). Это значит, что «плотность вероятности» перехода вторичного процесса можно записать

Здесь -мерная дельта-функция, определяемая формулой

Она соответствует мере, сосредоточенной в начале координат -мерного пространства.

Итак, мы видим, что энтропия процесса немарковского, но являющегося частью марковского процесса, может быть определена методами теории марковских процессов после перехода к вторичному апостериорному уже марковскому процессу. В стационарном случае обычным способом может быть найдено стационарное распределение к которому сходится при распределение входящее в (5.3.19). Подставляя (5.3.19) в (5.3.12) и переходя к пределу получаем удельную энтропию

Затем уже по формуле (5.3.4), если нужно, можно найти Прежде чем перейти к рассмотрению примера, приведем следующую теорему, имеющую прямое отношение к вышеизложенному.

Теорема 5.3. Энтропия немарковского у-процесса совпадает с аналогичной энтропией вторичного апостериорного (марковского) процесса:

Следовательно, совпадают и удельные энтропии.

Доказательство. Поскольку справедливы равенства

а также формула (5.3.12) и аналогичная формула для то достаточно доказать равенство

Здесь в силу марковского свойства.

Пусть некоторая исходная точка пространства значений В соответствии с (5.3.21) из нее возможны переходы в различные точки в зависимости от значения точка с координатами Эти точки не совпадают при несовпадающих В самом деле, если бы две точки из скажем совпадали, т. е. имело бы место равенство

из него можно было бы получить

Но согласно (5.3.17)

и равенство (5.3.26) означало бы совпадение

Итак, между точками и значениями можно установить взаимно однозначное соответствие. Поэтому

Но при должном выборе точки события, стоящие в условии, совпадают, и после усреднения мы получаем (5.3.25). Это завершает доказательство.

3. Пример. Пусть немарковский процесс есть процесс с двумя состояниями, т. е. может принимать одно из двух значений, скажем 1 или 2. Пусть далее его можно превратить в марковский, если добавлением переменной х разбить состояние на два состояния: и состояние Именно, соответствует соответствует С состоянием можно сопоставить, скажем,

Совокупный процесс является стационарным марковским и описывается матрицей перехода

Апостериорные распределения согласно (5.3.17) имеют вид

Значению согласно (5.3.21) соответствует преобразование

Точку (1, 0, 0) трехмерного пространства значений , соответствующую распределению (5.3.27), обозначим Исследуем возможные переходы из этой точки. Подставляя значение в (5.3.28), получаем переход в точку

которую обозначим Вследствие (5.3.18) такой переход осуществляется с вероятностью

С вероятностью сохраняется пребывание в точке

Рассмотрим теперь переходы из точки Подставляя значения (5.3.29) в качестве в формулу (5.3.28) при получаем координаты

новой точки 52. Переход из происходит с вероятностью

Это выражение получено подстановкой (5.3.29) в формулу

получаемую из (5.3.17а). С вероятностью происходит возврат в точку Аналогично, подставляя значения (5.3.31) в (5.3.33), находим вероятность

перехода из в следующую точку Описанным способом последовательно вычисляются вероятности перехода в следующие друг за другом точки Каждый раз с вероятностью происходит возврат в точку Вероятность того, что к моменту еще не произошел возврат в точку очевидно, равна Если последовательные значения не стремятся к единице, то эта вероятность стремится к нулю при Поэтому обычно с вероятностью, равной единице, происходит в итоге возврат в точку Если бы в качестве начальной точки была взята какая-либо другая точка то происходило бы движение по какой-то другой последовательности точек с последующим переходом (сколь угодно близким к достоверности) в точку После такого перехода будет происходить уже описанное выше движение по точкам с вычисленными вероятностями переходов.

Описанная выше картина переходов вторичного марковского процесса позволяет легко найти стационарное распределение вероятностей. Оно будет сосредоточено в точках

Для этих точек матрица вероятностей перехода имеет вид

Учитывая равенства вытекающие из (5.2.7), (5.3.35), и условие нормировки, находим стационарные вероятности указанных точек

Для вычисления удельной энтропии (5.3.12) остается лишь подставить выражения (5.3.36) в формулу

которая вытекает из (5.3.23) или из теоремы 5.3 и формулы (5.2.8), примененной к вероятностям перехода (5.3.35).

В том частном случае, когда значение х не влияет на переходы от одного значения у к другому, имеем

Здесь выписана вероятность вероятность перехода которая теперь не зависит от х. В этом случае (5.3.33) дает

и из (5.3.37) получаем

причем в силу (5.3.36), (5.3.39)

Формула (5.3.40) поэтому совпадает с (5.2.20), и это естественно, поскольку при выполнении условия (5.3.38) процесс становится марковским сам по себе.

В рассмотренном примере стационарные вероятности были сосредоточены на счетном множестве точек. Применяя терминологию из § 5.2, можно сказать, что активное пространство -процесса состояло из точек и, следовательно, было счетным, хотя полное пространство представляло собой континуум. Можно ожидать, что и в других случаях дискретных процессов положение такое же, то есть в довольно общем случае конечного или счетного числа состояний совокупного процесса стационарное распределение сосредоточено на счетном множестве точек.