5.6. Энтропия случайных процессов в непрерывном времени. Общие понятия и соотношения

1. Обобщенное определение энтропии, данное в гл. 6, позволяет вычислять энтропию случайных процессов зависящих от непрерывного параметра (времени). Будем предполагать, что процесс задан на некотором интервале а Для произвольного подынтервала а принадлежащего интервалу определения процесса, будем пользоваться обозначением Следовательно, обозначает совокупность значений процесса на подынтервале

Исходный процесс описывается вероятностной мерой Р. В соответствии с определением энтропии, данным в § чтобы определить энтропию для любых различных интервалов нужно ввести вспомогательную ненормированную меру или соответствующую ей вероятностную меру Мера должна быть определена на том же измеримом пространстве, т. е. на том же поле событий, касающихся поведения процесса на всем интервале При этом процесс имеющий вероятности можно интерпретировать как новый вспомогательный случайный процесс отличающийся от исходного процесса

Мера Р должна быть абсолютно непрерывна относительно меры для всего поля событий, относящихся к поведению процесса на всем интервале определения Следовательно, условие абсолютной непрерывности будет выполнено и для любого его подынтервала

Применяя формулу (1.6.17) для значений случайного процесса на некотором выбранном подынтервале получаем следующее определение энтропии для этого подынтервала:

Далее в соответствии с содержанием § 1.7 (см. (1.7.17)) можно ввести условную энтропию

где — другой подынтервал, не перекрывающийся с

Введенные энтропии подчиняются обычным соотношениям, встречающимся в дискретной версии, например, соотношению аддитивности

При записи формул (5.6.2), (5.6.3) предполагается, что меры удовлетворяют условию мультипликативности

не перекрывается с которое аналогично (1.7.8). Приведендое условие мультипликативности для меры означает, что вспомогательный процесс таков, что его значения и для неперекрывающихся интервалов должны быть независимыми. Условие мультипликативности для меры означает кроме того, что постоянные

определяются некоторой возрастающей функцией по формуле

В случае стационарного процесса функция линейна, так что

Учитывая (5.6.5), безусловную энтропию типа (1.6.16) и условную энтропию типа (1.7.4) можно определить по формулам

где стоящие справа величины определены соотношениями (5.6.1), (5.6.2).

2. В дальнейшем будем рассматривать стационарный случайный процесс определенный при всех В этом случае вспомогательный процесс естественно выбирать также стационарным.

Ввиду того, что энтропия в обобщенной версии при выполнении условия мультипликативности обладает теми же свойствами, что и энтропия в дискретной версии, на рассматриваемый случай непрерывного времени могут быть перенесены рассуждения и результаты, изложенные в § 5.1, 5.5 применительно к стационарному процессу в дискретном времени.

Вследствие обычных общих свойств энтропии условная энтропия монотонно не возрастает с ростом

Отсюда вытекает существование предела

который мы определяем как

Поскольку в силу общего свойства (1.7.3)

а в силу условия стационарности

то, переходя в (5.6.9) к пределу получаем

Следовательно, условная энтропия линейно зависит от Соответствующий коэффициент пропорциональности определяем как удельную энтропию:

Аналогом теоремы 5.1 в непрерывной версии будет следующая теорема.

Теорема 5.4. Если энтропия конечная, то удельную энтропию (5.6.10) можно вычислять предельным переходом

Доказательство проводится тем же методом, что и доказательство теоремы 5.1. Пользуясь свойством аддитивности (1.7.4а), представим энтропию в виде

Вследствие (5.6.8), (5.6.10) имеем

где стремится к 0 при Подставляя (5.6.13) в (5.6.12), получаем

Устремим здесь а и к бесконечности, но так, чтобы Поскольку

то при этом член будет стремиться к 0. Член также будет стремиться к , а поскольку Следовательно, из (5.6.14) получим требуемое соотношение (5.6.11). Доказательство закончено.

На случай непрерывного времени обобщаются и те высказывания из § 5.1, которые касаются граничной энтропии Г. По аналогии с (5.1.10) ее можно определить по формуле

и представить в виде

аналогичном (5.1.12).

При помощи величин энтропия Н конечного отрезка стационарного процесса выражается по формуле

Из определения (5.6.15) граничной энтропии Г, если учесть (5.6.1), нетрудно усмотреть, что она не зависит от выбора меры или подобно тому, как это было в § 5.4.

Для энтропии при выполнении условия мультипликативности по аналогии с (5.6.17) будет справедлива формула

где Г — та же величина, что и в (5.6.17).