5.8. Энтропия точечного случайного процесса

Рассмотрим точечный случайный процесс на интервале а представляющий собой совокупность случайных точек, положение и число которых случайно. Иногда подобный процесс называют «случайным потоком», однако, этот термин нам представляется неудачным, поскольку слово «поток» естественнее употреблять в другом смысле, связывая его с движением в пространстве, подобно тому, как это делается физике.

Обозначим через число выпавших точек, а через места их выпадения (так что все Будем предполагать, что величины пронумерованы в порядке неубывания: Совпадение предполагаем имеющим нулевую вероятность.

1. Для описанного процесса мера Р характеризуется заданием вероятностей

и системы плотностей распределения

удовлетворяющих условию нормировки

Требуется определить энтропию данного точечного процесса. Вероятности (5.8.1) и плотности (5.8.3) определяют вероятность

того, что первая точка из последовательных случайных точек попадет в интервал вторая — в интервал последняя — в интервал

при условии, что в других местах интервала не выпадет ни одной случайной точки. Простейшей системой случайных точек является пуассоновская система, для которой

Здесь средняя плотность точек, которая в стационарном случае постоянна.

Рассмотрение случайных точек эквивалентно рассмотрению случайного процесса

Выпадение случайных точек на неперекрывающихся интервалах для пуассоновского процесса является взаимно независимым иначе говоря, независимы от Поэтому для выполнения условия мультипликативности (5.6.4) удобно брать энтропию точечного процесса, определенную в соответствии с (1.6.16), (1.6.17), выбирая меру соответствующую пуассоновскому процессу. Будем полагать для простоты, что мере соответствует постоянная пуассоновская плотность

В соответствии с (5.8.5) для отношения элементарных вероятностей типа (5.8.4) в стационарном случае будем иметь

Поэтому энтропия (1.6.17) будет определяться формулой

Выделяя из-под знака логарифма, это выражение, очевидно, можно записать в виде

— энтропия, соответствующая пуассоновской мере с единичной плотностью.

Из энтропнн (5.8.8) можно выделить энтропию случайного числа точек

представив (5.8.8) в форме

где

Вследствие общих свойств энтропии выражения (5.8.6), (5.8.8) — (5.8.10) всегда неотрицательны.

Возьмем для примера пуассоновскую систему точек с постоянной плотностью Тогда в силу (5.8.5), (5.8.8) будем иметь

поскольку

Далее из (5.8.7) получаем

Поделив этот результат на а, найдем удельную энтропию одной пуассоновской меры по другой:

Энтропии (5.8.11), (5.8.12) пропорциональны а вследствие того, что пуассоновские процессы являются процессами с независимыми значениями. Более сложно зависят от длины интервала энтропии (5.8.9), (5.8.10). Вводя функцию

эти выражения для пуассоновской меры Р можно записать

2. Приведенные выше формулы основывались на определении (1.6.17) энтропии одной вероятностной меры по другой. Можно перейти к энтропии (1.6.13), (1.6.16), соответствующей ненормированной мере Эта мера будет удовлетворять условию

мультииликативности, если будет пропорциональна пуассоновской вероятностной мере

Согласно сказанному в § 1.6 обобщенную энтропию (1.6.16) можно интерпретировать как предельный случай энтропии дискретной версии, в которой число возможных исходов является конечным или счетным. Чтобы перейти от случая непрерывного времени к дискретному случаю, разобьем рассматриваемый интервал на конечное число элементарных интервалов и вместо интервала будем рассматривать множество точек Точечный процесс на определим так: пусть если на интервал попадает хотя бы одна точка в противном случае. Имея в виду рассмотреть в дальнейшем стационарный процесс, будем полагать разбиение равномерным:

Вероятность выпадения на элементарном интервале больше одной точки предполагается величиной порядка т. е. высшего порядка малости. Тогда при достаточно большом число случайных точек, выпавших в с вероятностью, близкой к единице, не будет отличаться от числа точек выпавших в

Точечный процесс на является дискретным процессом, имеющим в общей сложности различных реализаций. Событие а реализуется одним способом. Событие реализуется различными способами, т. е. включает различных реализаций. Событие состоит из различных реализаций и т. д. Вводя как в § 1.6 меру, указывающую число различных реализаций, имеем

Причем

Нетрудно подсчитать также число реализаций того события, что попадет в интервал в то же время попадает в интервал и т. д., попадет в интервал В предположении, что число таких реализаций равно

Напомним, что вероятность такого множества задается формулой (5.8.4). Поскольку

то применяя формулы (1.6.5), (1.6.6), получаем

Вынося из-под знака логарифма, полученный результат можно выразить через энтропию (5.8.8):

Это обосновывает введение энтропии меры Р относительно пуассоновской меры Если разбиение интервала производить не равномерным образом, а согласно соотношению то энтропия по аналогии с (5.8.13) будет выражаться через энтропию меры Р по пуассоновской мере имеющей неравномерную плотность

3. В случае стационарного точечного процесса можно рассматривать удельную энтропию, приходящуюся в среднем на единицу времени. Укажем два способа ее вычисления.

1) В соответствии с теоремой 5.2 ее можно вычислять по формуле (5.6.11). Имея в виду применить эту формулу, исследуем поведение энтропий (5.8.8), (5.8.10) при больших

В случае стационарного процесса среднее число точек пропорционально длине интервала Для эргодического процесса, кроме того, зависимость дисперсии от Т при больших как правило, приближается к линейной:

и случайная величина подчиняется центральной предельной теореме. Вероятность неравенства при больших может быть вычислена при помощи гауссового распределения:

где имеет тот же смысл, что и в (1.6.4а). Это позволяет вычислить приближенно как энтропию гауссовой переменной. Из (5.8.14) имеем

что является частным случаем формулы (5.4.5). Усредняя (5.8.15), находим

Из найденной зависимости следует, в частности, исчезновение предела

Это означает, что вклад энтропии в удельную энтропию (5.6.11) сводится к нулю. На удельную энтропию, следовательно, оказывает влияние лишь энтропия (5.8.10):

Вводя обозначение

ее можно записать так

Величина при больших Т является квазинепрерывной. Для нее мало отличается от (скобки означают целую часть). Разности

можно интерпретировать как производные. Пренебрегая несущественными усложнениями, связанными с дискретным характером величины из (5.8.17) будем иметь

Подставляя это выражение в (5.8.18) и (5.8.16), получаем, что

если

Уже указывалось, что обычно отношение стремится при к конечному пределу Следовательно, условие (5.8.20) выполняется, если

Как показывает исследование, условие говорящее о приближении зависимости при к прямой пропорциональности, выполняется для большого числа практических случаев.

Итак, в соответствии с формулой (5.8.19) удельную энтропию можно вычислить, считая число случайных точек, выпавших на большом интервале [0, Т], неслучайным, заранее известным и равным

Пример. Вычислим этим способом энтропию пуассоновского процесса. Предполагается, что число точек на всем интервале является неслучайным и равным При этом

Подставляя эту функцию в (5.8.17), находим

Пользуясь формулой Стирлинга получаем

Условие (5.8.21) действительно имеет место, поскольку

Подставляя найденное выражение для в (5.8.19) при и переходя к пределу имеем

что, конечно, совпадает с удельной энтропией, находимой из

2) Другой способ вычисления удельной энтропии основан на ее определении (5.6.10) как условной энтропии. Фиксация процесса означает фиксацию всех случайных точек выпавших до момента Поэтому (5.6.10) можно записать:

Энтропию здесь следует определять формулой (5.8.8), но при замене вероятностей и плотностей

условными вероятностями и плотностями

т. е. формулой

Длину интервала желательно брать небольшой, чтобы вероятности выпадения двух и более точек на этом интервале были пренебрежимо малы и их можно было бы не учитывать. Тогда в выражении (5.8.24) можно будет оставить лишь два члена, полагая при этом Обозначая кроме того

из (5.8.24) будем иметь

или

Подставляя это выражение в (5.8.23) и переходя к пределу получаем искомую удельную энтропию

где М обозначает усреднение по случайным точкам

Пример 1. Применим найденную формулу к стационарному точечному процессу с ограниченным последействием. Будем полагать, что интервалы между соседними случайными точками являются независимыми случайными величинами, имеющими одинаковую плотность распределения вероятностей Тогда, очевидно,

так что

Подстановка в (5.8.26) дает

где закон распределения для случайного расстояния от фиксированной точки до ближайшей слева случайной точки. Его можно выразить через плотность несложной формулой

Вследствие равенств (5.8.27) - (5.8.28) получаем

что дает решение задачи вычисления удельной энтропии.

Пример 2. Рассмотрим несколько более сложный пример. Пусть дан стационарный точечный процесс. Интервалы по-прежнему, взаимно независимы, но имеют (через один) различные плотности распределения; или Если распределен по то распределен по интервал снова распределен по по и т. д. Такой точечный процесс эквивалентен стационарному процессу с двумя состояниями и , когда времена пребывания в каждом состоянии взаимно независимы и имеют законы распределения (для времени пребывания в Случайные точки можно при этом классифицировать дополнительным параметром полагая если в точке происходит скачок из А у в если происходит обратный скачок из

В описанном случае плотность вероятности зависит не только от времени выпадения последней случайной точки, но и от ее типа Именно

Усреднение в (5.8.26) будет проводиться как по так и по

Обозначим через совместное распределение для случайных величин Тогда из (5.8.26), (5.8.29а) будем иметь

Остается вычислить Априори вероятность попадания на элементарный интервал случайной точки любого из двух типов одна и та же и равна

поскольку для каждого типа средняя плотность точек равна Если выпала точка то с вероятностью она будет последней, т. е. в не выпадет ни одной другой точки. Если то точка будет последней с вероятностью Поэтому формулу (5.8.30) можно записать

Пусть, например имеют экспоненциальный вид

Тогда

и из (5.8.31) получаем

Если, в частности, то формула (5.8.32) совпадает с (5.8.22), так как при этом рассматриваемый точечный процесс переходит в пуассоновский.