21. Энтропия ансамбля функций

Рассмотрим эргодический ансамбль функций с ограниченной полосой частот в герц. Пусть

плотности распределения вероятностей для амплитуд последовательных выборочных точках. Определим энтропию ансамбля на степень свободы как

Можно также определить энтропию в секундах, проводя деление не на а на время Т в секундах, требуемое для получения выборочных точек. Так как то

Для белого теплового шума плотность является гауссовской и имеем

При данной средней мощности белый шум имеет максимальную возможную энтропию. Это следует из отмеченных выше свойств максимальности нормального распределения.

Энтропия непрерывного вероятностного процесса имеет много свойств, аналогичных свойствам энтропии дискретных процессов. В дискретном случае энтропия была связана с логарифмом вероятности длинных последовательностей и с числом относительно вероятных последовательностей большой длительности. В непрерывном случае энтропия подобным же образом связана с логарифмом плотности вероятности для длинного ряда выборок и с объемом области сравнительно высокой вероятности в функциональном пространстве.

Более точно, если предположить, что непрерывна по всем для всех то для достаточно большого

при любом выборе значений не принадлежащих множеству, полная вероятность которого меньше чем где вид произвольно малы. Это следует из эргодического свойства, если мы разделим пространство на большое число малых ячеек.

Связь Я с объемом может быть установлена следующим образом. При тех же самых предположениях рассмотрим -мерное пространство, соответствующее . Пусть наименьший объем области в этом пространстве, имеющей полную вероятность Тогда

если только не равно 0 или 1.

Из сказанного видно, что при больших существует довольно четко определенная (по крайней мере в логарифмическом смысле) область высоких вероятностей и что внутри этой области плотность распределения вероятностей относительно равномерна (опять-таки в логарифмическом смысле).

В случае белого шума распределение задается выражением

Так как эта функция зависит только от то поверхности равной плотности распределения представляют собой сферы и все распределение обладает сферической симметрией. Областью высокой вероятности является сфера радиуса При вероятность нахождения вне сферы радиуса стремится к нулю, как бы ни было мало , а логарифма объема сферы стремится к

В непрерывном случае удобно пользоваться не энтропией ансамбля Н, а производной величиной, которую мы назовем энтропийной мощностью. Она определяется как мощность белого шума, ограниченного той же полосой частот, что и первоначальный ансамбль, и имеющего ту же самую энтропию. Другими словами, если Я — энтропия ансамбля, то его энтропийная мощность равна

В геометрической трактовке это означает измерение объема высокой вероятности квадратом радиуса сферы, имеющей такой же объем. Так как белый шум имеет максимальную энтропию при данной мощности, то энтропийная мощность любого шума меньше или равна его действительной мощности.