6.7. Информация связи компонент марковского процесса

1. Пусть заданы произвольные (необязательно стационарные) случайные процессы в непрерывном или дискретном времени Информация связи этих процессов на фиксированном отрезке согласно (6.4.9) равна

Здесь

мера предполагается мультипликативной, т. е. удовлетворяющей условию (6.4.8)

при любых Можно обозначать имея в виду, что порождаются мерой

Полагая в (6.7.1) сначала а затем и взяв разность этих выражений, найдем приращение информации

Это выражение можно записать при помощи условных энтропий в виде

В самом деле,

Поскольку каждая разность

неотрицательна [см. (1.7.19), (6.4.11)], то очевидна и неотрицательность приращения (6.7.3).

Если процессы протекают в непрерывном времени, то (6.7.3) можно поделить на и перейти к пределу получив аналогичную формулу

затрагивающую энтропийные плотности

Если процессы стационарные и стационарно связанные, то удобно полагать в (6.7.3), Тогда выражение (6.7.3) будет пропорционально (и можно положить а плотности в (6.7.4а) не будут зависеть от При этом выражение (6.7.4) совпадает с удельной информацией (6.6.3).

Возвращаясь к произвольному случаю, сравним энтропии входящие в правую часть (6.7.3).

Очевидно, что вследствие (6.7.2),

Но вероятность можно записать

Обозначим через условное усреднение по с весом и через усреднение по с весом Тогда (6.7.7), (6.7.6) будут в виде

Усреднения в (6.7.5) можно представить как последовательные усреднения Тогда разность энтропий (6.7.5), (6.7.6). запишется в форме

Аналогично можно представить и вторую разность входящую в (6.7.3). Обозначим через усреднение по с весом и через усреднение по с весом Тогда будем иметь

Информация (6.7.3) равна сумме указанных выражений (6.7.8), (6.7.9). Вычитаемые члены в фигурных скобках отличаются друг от друга разным порядком проведения операций усреднения и нелинейного преобразования. Нетрудно убедиться, что мера из них, по существу, полностью выпадает.

Этими выражениями, выведенными без использования марковских свойств, удобно пользоваться для вычисления информации связи одной части компонент марковского процесса с другой частью его компонент. Совокупный процесс предполагается марковским относительно меры Р, а процесс марковским относительно меры Тогда

[см. также (6.7.2)].

Поэтому усреднение в формуле (6.7.8) сведется к усреднению по проводимому с весом

Указанная формула примет вид

Второе усреднение здесь, очевидно, относится к и его можно проводить с весом Если в последнем члене (6.7.10) изменить порядок интегрирования по и то (6.7.10) можно записать

Отсюда видно, что мера выпадает, и мы имеем

Рассмотрим второе выражение (6.7.8). Для марковского совокупного процесса относительно Р и марковского относительно справедливы соотношения

Кроме того вес, соответствующий усреднению равен

Поэтому формула (6.7.9) переписывается в виде

Усреднение здесь относится лишь к и может проводиться с весом Формулу (6.7.12) по аналогии с (6.7.11) можно записать также в форме, не содержащей

Сумма выражений (6.7.11), (6.7.13) дает искомую информацию (6.7.3):

Коротко эту формулу можно записать, объединив оба члена:

Для марковского совокупного процесса сумму двух первых членов в (6.7.10), (6.7.12) можно представить в более простом виде

Учитывая это при суммировании выражений (6.7.10), (6.7.12), получаем результат также в другой форме

где усреднения проводятся соответственно. В стационарном случае для этой цели нужно использовать стационарные распределения При этом формула (6.7.15) дает (при удельную информацию В случае непрерывного времени при вычислении по формуле (6.7.15) удобно полагать малым и (поделив предварительно выражение на перейти к пределу

Изложенный метод вычисления информации связи между частями компонент марковского процесса тесно соприкасается с методом вычисления энтропии части компонент марковского процесса, приведенным в § 5.11. Формулу (6.7.15) можно получить короче при помощи формул (6.7.3), (5.11.12а).

Особый интерес представляет тот случай, когда один из процессов, скажем является марковским сам по себе (относительно Р). Тогда

и в формуле

аналогичной (6.7.3), остаются лишь два члена

Поэтому для вычисления информации оказывается достаточно формулы (6.7.12), где нужно поменять местами х и у. Именно

2. Переходя к рассмотрению различных частных случаев начнем с того случая, когда есть дискретный стационарный марковский процесс в дискретном времени, т. е. марковская цепь. При этом в формулах предыдущего пункта нет надобности вводить меру ее можно опустить, заменив на на —Н. Можно также непосредственно использовать результаты § 5.2 и 5.3.

Пусть, как и в § 5.2, 5.3, марковская цепь описывается вероятностями перехода Применяя формулу (5.2.8), находим удельную энтропию комбинированного процесса

Для компонент х и у по отдельности удельная энтропия выражена формулой (5.3.23):

В приведенных формулах стационарное распределение является решением уравнения

[см. (5.2.7)], а распределение решением аналогичного уравнения, но соответствующего

вторичному апостериорному марковскому процессу, имеющему вероятности перехода (5.3.22). Это уравнение имеет вид

Аналогично записывается и уравнение

служащее для определения стационарного распределения которое соответствует вторичному апостериорному марковскому процессу (когда наблюдается процесс Приведенные формулы, в принципе, решают задачу вычисления удельной информации

Пример. Возьмем для примера марковский процесс с тремя состояниями рассмотренный в § 5.3. Его представляем как комбинацию процессов каждый из которых имеет два состояния Состояния интерпретируются как комбинированные состояния

Берем матрицу перехода

которая обладает определенной симметрией. Она не меняется, если процессы поменять ролями (т. е. при замене поэтому при такой матрице перехода имеем

Найдем энтропию по формуле (6.7.17). Используя обозначение (5.2.22), имеем

Стационарное распределение обладает свойством симметрии . При его использовании уравнение (6.7.18) дает

отсюда

и из (6.7.17) в силу (6.7.21) получаем

Для отыскания информации (6.7.19) вследствие (6.7.20а) остается найти энтропию или Для данного примера она была найдена в § 5.3. Согласно (5.3.36), (5.3.37) она вычисляется по формуле

где величины, определяемые соотношениями (5.3.30), (5.3.32), (5.3.34) и т. д. Для рассматриваемого случая (6.7.20) эти соотношения принимают вид

Любые находятся последовательно по методу, описанному в в § 5.3. Взяв разность выражений (6.7.22), (6.7.23), получим искомую удельную информацию связи

3. Предположим теперь, что есть дискретный марковский процесс в непрерывном времени. Он описывается дифференциальной матрицей перехода т. е. уравнением

При помощи результатов § 5.9, 5.11 или формул настоящего параграфа может быть вычислена плотность информации связи совпадающая в стационарном случае с удельной информацией связи.

Чтобы плотность информации была конечна (см. ниже) будем предполагать, что матрица имеет следующий специальный вид с (5.11.26)]:

Вместо пуассоновской меры в (5.11.27) выбираем теперь марковские меры с дифференциальными матрицами перехода

число состояний процесса процесса Это означает, что комбинированная мера описывается матрицей

вид которой напоминает (6.7.25).

Вычисления будем проводить по формуле

[см. (6.7.4)]. Вследствие (5.11.12) по аналогии с (5.11.28) имеем

Аналогично

где

Плотность подсчитывается методами, изложенными в § 5.9. Для того чтобы эта величина была конечной, и нужен специальный вид (6.7.25) комбинированной матрицы перехода. При помощи формулы (5.9.8) для матриц (6.7.25), (6.7.26) получаем

Вследствие (6.7.25) равенства (6.7.29), (6.7.31) принимают вид ,

При подстановке (6.7.28), (6.7.30), (6.7.32) в (6.7.27) учтем, что

и аналогично

Последние равенства позволяют сократить линейные по члены и записать результат в следующей форме:

Параметры мер из окончательного результата, разумеется, выпали.

Распределения отыскиваются как распределения вероятностей марковских процессов с известными вероятностями перехода. В стационарном случае для вычисления удельной информации нужно брать соответствующие стационарные распределения.

В п. 4 § 5.11 был рассмотрен частный случай, когда процесс взятый в отдельности является марковским. В этом случае формула (6.7.34) упрощается, из нее выпадают члены с суммированием по х. Информация связи при этом оказывается равной разности энтропий (5.11.28) и (5.11.30).

4. Перейдем к рассмотрению диффузионных процессов. Будем предполагать, что комбинированный процесс является диффузионным процессом, описываемым вектором сносов и совокупной матрицей локальных дисперсий

Подматрица относится к компонентам х-процесса; подматрица соответствует -процессу, т. е. другой части компонент совокупного процесса Перекрестные локальные коэффициенты предполагаются равными нулю: чтобы не было бесконечных значений плотности информации Предполагается также, что подматрица не зависит от не зависит от и эти подматрицы являются невырожденными.

При этих условиях в качестве меры удобно взять меру, при которой процессы являются независимыми диффузионными марковскими процессами каждый по отдельности. Первый имеет локальные дисерсии и нулевые сносы, второй — локальные дисперсии и нулевые сносы. При таком выборе можно найти плотности энтропии по формулам (5.10.12), (5.11.17), а значит, и плотность информации Иначе, не вводя меру информацию можно находить по формуле (6.7.14). Любым способом получаем следующий результат:

Его можно записать в следующей форме:

из которой видна неотрицательность найденного выражения (в силу положительной определенности матрицы

5. В заключение этого параграфа положим, что процесс является марковским в отдельности, процесс же при фиксированной реализации является многомерным диффузионным процессом с параметрами Матрицу локальных дисперсий предполагаем не зависящей от х и невырожденной.

Для вычисления информации или в данном случае можно воспользоваться формулой (6.7.16), определяя каждый из двух входящих в правую часть членов при помощи формул (5.10.12), (5.11.17) или (5.11.25). Получаемой в результате этого разности

можно придать вид

Здесь, как и в (6.7.35), апостериорное распределение представляющее собой (вместе с вторичный марковский -процесс с вероятностями перехода, определяемыми теорией условных марковских процессов.

Пример. В п. 2 § 5.11 был рассмотрен в качестве примера марковский процесс с двумя состояниями и матрицей перехода (5.9.6). Процесс представлял собой одномерный диффузионный процесс, для которого снос (но не локальная дисперсия зависел от х. Зависимость параметров а и от у и предполагалась отсутствующей.

Апостериорное распределение в этом примере определяется лишь одной переменной причем

Поэтому

и формула (6.7.36) принимает вид

Плотность распределения указана в § 5.11. Интеграл в (6.7.37) вычисляется, и согласно (5.11.24) имеем

Найденная информация есть не что иное, как разность вычисленных ранее энтропий (5.11.20) и (5.11.22).

В заключение отметим, что результат (6.7.36) справедлив не только в том случае, когда процесс является марковским. Для его справедливости нужно лишь, чтобы условный процесс описываемый мерой был диффузионным и каузально-рандомизированно зависящим от так что Данное обобщение нетрудно получить из формулы (6.7.12) (при замене в ней х на не ограниченной условием Маркова для Изложенная в теория, не использующая марковские свойства, является полезной также для получения и других результатов.