6.6. Удельная информация стационарных и стационарно связанных процессов. Гауссовы процессы

1. Будем предполагать теперь, что как первая, так и вторая группа случайных величин представляют собой стационарные процессы

в дискретном или непрерывном времени Эти процессы предполагаются не только стационарными, но и стационарно связанными, так что комбинированный процесс является стационарным. Для отрезка можно рассматривать энтропии определенные в соответствии с формулами и результатами гл. 5. Здесь

Согласно общей формуле (6.2.2) эти энтропии позволяют вычислить информацию связи

Определим удельную информацию связи процессов как предел

Если сюда подставить (6.6.2), то, очевидно,

Пределы, стоящие в правой части этого равенства, существуют в соответствии с теоремами 5.1 и 5.4 и соответственно равны

(для дискретного времени, когда целое, о совпадает с , а для непрерывного времени мы пользуемся формулой (5.6.10), полагая в ней Поэтому (6.6.4) принимает вид

Разумеется, информация (6.6.2) и удельная информация (6.6.6) могут быть конечными не только в том случае, когда или конечны по отдельности. Поэтому, в принципе, можно вычислять информацию, минуя вычисление энтропий. Однако в практических случаях, когда информация конечна, всегда так можно подобрать вспомогательные меры входящие в определение энтропии (§ 1.6), чтобы были конечны все члены в (6.6.2), (6.6.6). Тогда задача вычисления информации связи сведется к рассмотренной в гл. 5 более простой задаче вычисления удельных энтропий, хотя бы при одном (самом удобном) выборе меры или Согласно сказанному в § 6.4 нужно следить, чтобы выполнялось условие мультипликативности (6.4.1) или (6.4.8), принимающее для процессов (6.6.1) вид

или

При этом согласно (6.4.9) вместо (6.6.2), (6.6.6) можно брать формулы

где энтропийные плотности тина

Кроме удельной информации рассмотрим информацию конца интервала, аналогичную энтропии Г конца интервала, входящей в формулу

Сравнивая соотношение (5.6.15) с формулой (6.2.2), легко видеть, что постоянную можно интерпретировать как информацию связи случайного процесса на одной полупрямой с процессом на другой полупрямой (

Формулы (6.6.9), (6.6.10) справедливы для каждого из процессов Подставляя подобные выражения для каждой энтропии в (6.6.2) и учитывая (6.6.6), получаем

Это равенство позволяет вычислить информацию для конечного отрезка [0, Т) более точно, чем по формуле вытекающей из (6.6.3).

2. Применим приведенные выше формулы для вычисления удельной информации связи двух гауссовых стационарных случайных последовательностей Поскольку средние значения гауссовых переменных не влияют на величину информации связи (см. например, без ограничения общности можно полагать, что средние значения равны нулю:

Корреляционные матрицы

или соответствующие спектральные плотности

предполагаются заданными.

Для вычисления удельной информации применим формулу (6.6.6). Входящие в нее удельные энтропии для стационарных гауссовых последовательностей были вычислены в § 5.5. Энтропии

определяются равенством (5.5.17), а для отыскания энтропии можно использовать формулу (5.5.19). Итак, имеем

Подстановка этих выражений в (6.6.6) приводит к результату

Поскольку является как бы квадратом коэффициента корреляции для спектральных составляющих, которые соответствуют значению выражение в правой части равенства (6.6.12) можно интерпретировать как сумму информации различных спектральных составляющих. Каждое же слагаемое определяется простой формулой (6.5.11).

Перейдем к многомерному случаю. Найдем удельную информацию связи группы стационарных гауссовых последовательностей с другой группой последовательностей В совокупности эти последовательности описываются корреляционной матрицей или матрицей спектральных плотностей

эрмитово-сопряженная матрица). Здесь матрица плотностей для группы процессов матрица для процессов матрица взаимных спектральных функций.

Применяя (5.5.19), формуле (6.6.6) находим удельную энтропию

К подынтегральному выражению можно применить все те преобразования, которые от формулы (6.5.3) привели к (6.5.6). После этого равенство (6.6.14) примет вид

что является матричным обобщением формулы (6.6.12).

Приведенные здесь результаты можно получить также при помощи формул (6.6.8), (5.5.20), как будет видно из дальнейшего.

3. Вычислим теперь удельную информацию связи двух групп стационарных гауссовых процессов: протекающих в непрерывном времени. Они описываются совокупной корреляционной матрицей или совокупной матрицей спектральных плотностей

обозначает комплексное сопряжение), аналогичной матрице (6.6.13). Здесь матрица спектральных плотностей для первой группы матрица для второй группы матрица взаимных спектральных функций, связывающих процессы первой и второй групп.

Для вычисления удельной информации связи применим теперь формулу (6.6.8), где удельные энтропии вычисляются по формуле (5.7.25). В качестве меры возьмем гауссову меру, задаваемую совокупной матрицей спектральных плотностей

Взаимные спектральные плотности здесь положены равными нулю для того, чтобы было выполнено условие мультипликативности (6.6.7). Если средние значения выбрать совпадающими с (что, конечно, совершенно необязательно для получения окончательного результата), из (5.7.25) будем иметь

где

Матрицы подбираются таким образом, чтобы указанные интегралы по сходились. Остается подставить выражения (6.6.17) в (6.6.8). Нетрудно убедиться, что при этом вклады первых двух членов функции взаимно уничтожатся. В самом деле, вследствие специального вида матрицы (6.6.16) имеем

Но это есть в точности сумма соответствующих выражений от

Поэтому в подынтегральном выражении останутся лишь логарифмические члены

Члены с вспомогательными спектральными плотностями полностью выпадают опять-таки из-за отсутствия взаимных корреляций так как

и мы получаем

Здесь использована также формула (6.5.4). Подынтегральное выражение аналогично выражению, стоящему в правой части (6.5.3).

Точно так же, как и в § 6.5, его можно преобразовать к виду (6.5.6) или (6.5.7). При этом найденная формула (6.6.18) примет вид

Очевидна аналогия этого результата с соответствующей формулой (6.6.15) для стационарных последовательностей. В частном случае, когда рассматривается информация связи одного процесса с одним процессом из (6.6.19), имеем

Нетрудно применить полученные формулы к случаю аддитивных независимых помех (частный случай 3 из § 6.5). В этом случае имеют место соотношения

аналогичные (6.5.15), (6.5.16). Подробно тому, как формула (6.5.6) приняла вид (6.5.17), вследствие соотношений (6.6.21) выражение (6.6.19) перейдет в выражение

(О затронутых здесь вопросах см. работу Пинскера [1]).

В случае стационарных гауссовых процессов кроме средней удельной информации связи можно вычислить также удельный характеристический потенциал случайной информации. Удельный потенциал выражается через полный характеристический потенциал (6.4.10) обычным предельным переходом

так что Его нетрудно вычислить при помощи формулы (6.5.25), подобно тому, как удельная информация (6.6.19) может быть вычислена из (6.5.6). Принимая во внимание выше изложенное, нетрудно сообразить, какой вид будет иметь выражение для удельного потенциала в различных случаях. Так, в том случае, когда справедлива формула (6.6.19), удельный потенциал имеет вид

Из этого результата можно получить как удельную информацию (6.6.19), так и удельную дисперсию

а также прочие удельные статистические характеристики случайной информации.