5.7. Энтропия гауссового процесса в непрерывном времени

1. Гауссов случайный процесс при непрерывном времени подобно случайным величинам, рассмотренным в § 5.4, характеризуется вектором средних значений и корреляционной матрицей

Разница лишь в том, что теперь вектор представляет собой заданную на интервале функцию от тогда как в § 5.4 вектор состоял из компонент. Матрица (скажем,

теперь является функцией двух переменных определяющей линейное преобразование

вектора На этот случай, как известно, могут быть перенесены все основные результаты теории конечномерных векторов. При этом требуется произвести такое тривиальное видоизменение формул, как замена суммы на интеграл и т. п. С описанными видоизменениями на случай непрерывного времени могут быть распространены изложенные в § 5.4 методы вычисления энтропии. Результирующие матричные формулы (5.4.8а), (5.4.13) сохраняют свое значение при новом понимании матриц и векторов.

Разумеется, указанные выражения теперь не обязаны быть конечными. Условие их конечности связано с условием абсолютной непрерывности меры Р относительно меры или

При обобщенном понимании векторов и матриц формулы (5.4.8а), (5.4.13) справедливы как для конечных, так и для бесконечных интервалов определения процесса для стационарного и для нестационарного случаев. В дальнейшем мы ограничимся рассмотрением стационарных процессов и вычислим для них удельные энтропии

Для этой цели может быть применен прием, использованный в § 5.5, заключающийся в переходе к периодическому стационарному процессу. Рассматривая на интервале процесс, имеющий корреляционную функцию можно сконструировать новую корреляционную функцию

которая помимо стационарности будет обладать еще свойством периодичности. Формула (5.7.1) аналогична формуле (5.5.14). Такую корреляционную функцию имеет процесс

в пределе при

Стационарная периодическая матрица типа (5.7.1) лиагонализуется унитарным преобразованием имеющим матрицу

При этом собственные значения матрицы оказываются такими:

Если учесть (5.7.1), то отсюда будем иметь

где через обозначена спектральная плотность

процесса

Подставляя (5.7.2) в (5.4.8а), получаем

Перейдем к энтропии которая находится по формуле (5.4.13). Эту формулу удобно применить после диагонализации матриц Тогда

где

по аналогии с (5.7.2), (5.7.3). Второй член в правой части (5.4.13) после диагонализации примет вид

Поскольку

то из (5.4.13) вследствие (5.7.5), (5.7.7) будем иметь

Сумма по в правой части (5.7.8) содержит бесконечное число членов. Чтобы ряд сходился к конечному пределу, необходимо чтобы отношение стремилось к 1 при так как функция обращается в нуль (в области положительных значений лишь при Вблизи точки функция ведет себя так:

Поэтому при выполнении условий

энтропия (5.7.8) оказывается конечной, что свидетельствует об абсолютной непрерывности меры Р относительно

2. Перейдем к вычислению удельной энтропии для стационарного процесса, заданного на бесконечной временной оси. Поскольку замена корреляционной функции оказывает существенное влияние лишь на граничные эффекты, то энтропии (5.7.4), (5.7.8) отличаются от энтропии, соответствующих корреляционной функции величиной порядка 1, а не порядка Поэтому найденные выражения (5.7.4), (5.7.8) можно использовать для вычисления удельной энтропии

Итак, в полученных формулах следует совершить предельный переход При этом суммы по гобратятся в интеграл. Из (5.7.4) будем иметь

а (5.7.8) даст

Эти результаты можно получить также из формул (5.5.17), (5,5.18), определяющих удельную энтропию стационарных

последовательностей как предельный результат при неограниченном уплотнении точек на временной оси. Выбрав точки из стационарного гауссова процесса в непрерывном времени можно получить стационарную гауссову последовательность которая будет иметь корреляционную матрицу

и те же средние значения Сравнивая формулу (5.5.15) с (5.7.3), нетрудно видеть, что

т. е. функции связаны между собой соотношением

Относя энтропию не к одному элементу последовательности, а к единице времени, имеем

Подставляя сюда (5.5.17), (5.5.18) при учете равенства (5.7.12) и аналогичного равенства для получаем

Формула (5.7.14) совпадает с (5.7.11), отличается от (5.7.10) членом , который может быть отнесен к соответствующим образом подобранной мере Пользуясь свободой выбора меры можно представить формулы (5.7.10), (5.7. 13) в другой, более удобной форме. Предположим, что спектральная плотность стремится при к конечному отличному от нуля пределу

Учитывая, что согласно будем иметь, следовательно, что при фиксированном в процессе предельного перехода значение будет стремиться к Это предельное значение целесообразно выделить, записав формулу (5.5.16) в виде

Определим теперь меру не формулой (5.4.4), а формулой

Тогда первый член в (5.7.15) будет отнесен к мере и вместо (5.7.15) будем иметь

Соответственно этому формула (5.5.17) заменится формулой

а из последней по аналогии с (5.7.13) получим

Здесь подынтегральное выражение стремится к нулю при Поскольку то интеграл в (5.7.18) сходится, если

(с — некоторое число). Таким образом, мы получаем для удельной энтропии конечное значение, если выполняется условие (5.7.19) и все особенности спектральной плотности (где она обращается в бесконечность или нуль) являются логарифмически интегрируемыми, как, например, нули и полюса вида

При выполнении этих условий мера Р является абсолютно непрерывной относительно специальным образом сконструированной меры определенной соотношением (5.7.16) и условием мультипликативности.

Условие сходимости другого интеграла (5.7.11) в верхнем пределе имеет вид

аналогичный (5.7.9). Оно является необходимым условием абсолютной непрерывности меры Р относительно

Если для меры выполнено условие мультипликативности то (в стационарном случае) ее корреляционная матрица должна быть кратна единичной матрице, а спектральная плотность постоянна; Для абсолютной непрерывности необходимо равенство следовательно, Подставляя это значение в (5.7.11), получаем при совпадающих средних формулу

Сходство последней с (5.7.18) является очевидным, различие заключается лишь в выборе подынтегральной функции.

Пример 1. Пусть имеется стационарный гауссов процесс со спектральной плотностью

Вычислим для него удельные энтропии. Поскольку то в соответствии с (5.7.18) имеем

Применяя далее формулу (5.7.20), находим

Граничная энтропия Г, входящая в соотношения (5.6.17), (5.6.18), может быть вычислена методом, который предложен Стратоновичем [61. Для данного примера она оказывается такой:

Пример 2. Пусть теперь рассматриваемый процесс имеет спектральную плотность Тогда применение формулы (5.7.18) не дает конечного результата. Чтобы получить конечную удельную энтропию по формуле (5.7.14), нужно подобрать подходящую спектральную плотность Положим

Тогда интеграл в (5.7.14) сведется к интегралам, стоящим в (5.7.21) (при ), и мы будем иметь

При выборе спектральной плотности (5.7.22) мера описывающая случайный процесс не удовлетворяет условию мультипликативности. Однако это условие будет выполнено для производной так как последняя будет иметь равномерную спектральную плотность 50. При переходе к произйодной процесс также нужно заменить на его производную Можно считать поэтому, что результат (5.7.23) согласуется с условием мультипликативности.

3. Для стационарного гауссового процесса, как и для гауссовой последовательности (см. § 5.4., п. 3), из линейного роста дисперсии с ростом Т при условии линейного нарастания средней энтропии вытекает выполнение условия энтропийной устойчивости (1.5.8). Поэтому в случае ненулевой конечной удельной энтропии для доказательства энтропийной устойчивости следует проверить конечность предела

Чтобы его вычислить, нужно применить формулу (5.4.17). Диагонализуя входящие в нее матрицы, нетрудно получить (подобно тому, как из (5.4.13) было получено выражение следующее равенство:

Оно является обобщением на случай непрерывного времени равенства (5.5.22). Условие конечности интеграла в (5.7.24), очевидно, связано с указанным ранее условием (5.7.19а). Таким образом, условие энтропийной устойчивости для гауссовых мер оказывается тесно связанным с условием абсолютной непрерывности меры Р относительно

Вышеизложенное может быть обобщено и на случай нескольких стационарных и стационарно связанных процессов Которые характеризуются столбцом средних значений и матрицей спектральных плотностей

Так, если мера описывается матрицами то формула, обобщающая формулу (5.7.14), имеет вид

Очевидна аналогия этой формулы с (5.5.20).