5.5. Энтропия стационарной последовательности. Гауссова последовательность

1. В § 5.1 была рассмотрена энтропия отрезка стационарного процесса в дискретном времени, т. е. стационарной последовательности. При этом предполагалось, что каждый элемент последовательности представляет собой дискретную случайную величину. Данное в § 1.6 обобщение понятия энтропии позволяет рассмотреть энтропию стационарной последовательности, составленную из произвольных, в том числе непрерывных случайных величин, обобщая тем самым результаты § 5.1.

Если вспомогательная мера удовлетворяет условию мультипликативности (1.7.9), то, как показано выше, условные энтропии в обобщенной версии обладают всеми свойствами, которыми обладали условные энтропии в дискретной версии. Указанные свойства (и по существу только они) были существенно использованы при изложении материала в § 5.1. Поэтому все сказанное в § 5.1 может быть отнесено к произвольным случайным величинам, к энтропии в обобщенной версии.

Мера предполагается мультипликативной

причем из соображений стационарности «элементарные» меры предполагаются одинаковыми. Предполагается также, что выполнено условие абсолютной непрерывности вероятности относительно Процесс является стационарным по отношению к распределению Р, т. е. выполнено условие типа (5.1.1) при любых .

Формулой (5.1.3) вводится удельная энтропия Теперь под однако, следует понимать энтропию (1.7.13), так что указанное определение соответствует формуле

В обобщенной версии также справедлива теорема 5.1, которая доказывается точно так же, как и раньше. Теперь она означает равенство

Далее, по аналогии с (5.1.11), (5.1.12) может быть введена величина

которая неотрицательна, поскольку

Она может быть интерпретирована как энтропия концов рассматриваемого отрезка последовательности.

Кроме приведенных выше величин и соотношений, основанных на определении энтропии (1.6.13), могут быть рассмотрены аналогичные величины и соотношения, основанные на определении 1.6.17). Именно, по аналогии с (5.5.2), (5.5.4) можно ввести

Для энтропии однако, согласно (1.7.19) имеет место неравенство

обратное неравенству (5.5.5). Поэтому «этропня конца» обязана быть неположительной.

Подставляя выражения типа (1.7.13), (5.5.2) для условных энтропий, нетрудно убедиться, что разность а следовательно, и граничная энтропия Г оказывается не зависящей от Аналогично оказывается не зависящей от (при выполнении условия мультипликативности), причем справедливо тождество Это полезно иметь в виду при записи формулы (5.1.13) для обеих энтропий, которая принимает вид

Последние соотношения позволяют найти этропию отрезка стационарного процесса точнее, чем простым умножением удельной энтропии на его длину

2. Найдем удельную энтропию для случая стационарной гауссовой последовательности.

а) Предположим сначала, что задана стационарная последовательность на круге, распределение которой инвариантно относительно вращений круга. При этом элементы корреляционной матрицы будут зависеть лишь от разности и удовлетворять условию периодичности: Уравнение (5.4.7) при этом будет иметь решения:

В самом деле, подставляя (5.5.8) в (5.4.7), получаем равенство

которое удовлетворяется в силу (5.5.9). Итак (5.5.8) определяет преобразование, которое диагонализует корреляционную матрицу Легко проверить его унитарность. В самом деле, эрмитовосопряженный оператор

вследствие равенств

совпадает с обратным оператором

После вычисления собственных значений (5.5.9) для получения энтропии остается воспользоваться формулой (5.4.8).

В рассматриваемом случае инвариантности относительно поворотов легко вычислить также энтропию (5.4.13). Предполагается, конечно, что описанной симметрией («круговой стационарностью») обладает не только мера Р, но и мера Корреляционная матрица последней обладает, следовательно, теми же свойствами, что и Кроме того, для обеих мер средние значения тк постоянны (соответственно равны

Унитарное преобразование диагонализирует не только матрицу но и матрицу (даже, если условие мультипликативности не выполнено), причем по аналогии с (5.5.9) ее средние значения имеют вид

Вектор при этом преобразовании переходит в вектор

В результате в соответствии с формулой (5.4.13) будем иметь

где

Для энтропии, отнесенной к одному элементу последовательности, согласно (5.4.8), (5.5.11) получаем

б) Пусть теперь составляют отрезок стационарной по следовательности, так что но условие периодичности не выполняется. Тогда каждый из концов отрезка играет некоторую роль и дает свой вклад Г в суммарную энтропию (5.5.7а). Если этим вкладом пренебречь, то можно соединить концы отрезка и перейти к разобранному ранее случаю круговой симметрии. При этом нужно образовать новую корреляционную функцию

которая уже обладает свойством периодичности. Если заметно отличны от нуля лишь при то добавочные члены в (5.5.14) заметно повлияют лишь на небольшое число элементов корреляционной матршсы стоящих в углах, где или

После перехода к корреляционной матрице (5.5.14) (и, если нужно, после аналогичного перехода для второй матрицы можно воспользоваться полученными ранее формулами (5.5.12), (5.5.13),

Учитывая (5.5.9), для собственных значений теперь будем иметь

или если ввести обозначение

Аналогично

Формулы (5.5.12), (5.5.13), очевидно, примут вид

Будем теперь увеличивать длину I выбранного отрезка Последовательности. Совершая в последних формулах предельный переход получаем вместо сумм интегралы

Здесь при изменении пределов интегрирования учтено свойство вытекающее из (5.5.15).

При больших I концы отрезка дают относительно малый вклад по сравнению с большой полной энтропией, имеющей порядок Переход (5.5.14) к корреляционной функции изменяет энтропию на некоторое число, не возрастающее с ростом Поэтому имеет место совпадение пределов

Здесь соответствует корреляционной функции -функции Следовательно, выражения (5.5.17), (5.5.18) совпадают с определенными ранее удельными энтропиями (5.5.3), (5.5.6). Тем самым мы вычислили удельные энтропии для случая стационарных гауссовых последовательностей. Они оказались выраженными через спектральные плотности

Условие абсолютной непрерывности меры Р относительно меры принимает вид условия интегрируемости функции входящей в (5.5.18).

Формула (5.5.18) справедлива не только при выполнении условия мультипликативности (5.5.1). Для стационарного гауссового случая это условие означает, что матрица кратна единичной: Тогда формула (5.5.18) дает

Приведенные результаты обобщаются и на тот случай, когда имеется не одна случайная последовательность а несколько стационарных и стационарно связанных последовательностей описываемых корреляционной матрицей

или матрицей спектральных функций и вектором-столбцом (по индексу а) средних значений та

При этом формула (5.5.17) заменяется на матричное обобщение

Мера Q пусть описывается матрицей спектральных функций и средних значений та Тогда, вместо (5.5.18), будем иметь аналогичную матричную формулу

Приведенные результаты, разумеется, вытекают из формул (5.4.6а), (5.4.13). По виду же они представляют собой синтез формул (5.4.6а), (5.4.13) и (5.5.17), (5.5.18).

3. Полученные результаты позволяют сделать заключение об энтропийной устойчивости (см. § 1.5) семейства случайных величин где отрезок стационарной гауссовой последовательности. Энтропия растет с ростом I приблизительно линейно. Дисперсия энтропии согласно (5.4.16) также растет линейно. Поэтому отношение стремится к нулю, так что условие (1.5.8) энтропийной устойчивости для энтропии (5.4.5) оказывается выполненным.

Перейдем к энтропии (5.4.10). Условия

для нее будут выполнены, если дисперсия определяемая формулой (5.4.17), возрастает с ростом приблизительно линейно, т. е. если существует конечный предел

Для вычисления предела (5.5.21) выражения (5.4.17) можно применить те же методы, какие были использованы для вычисления предела соответствующего выражению (5.4.13). Подобно тому, как из (5.4.13) мы получили (5.5.18), из формулы (5.4.17) находим предел (5.5.21)