5.1. Энтропия отрезка стационарного дискретного процесса и удельная энтропия

Будем предполагать, что имеется последовательность случайных величин Индекс (параметр) можно трактовать как дискретное время принимающее целочисленные значения Число различных значений индекса может быть неограниченно в обе стороны: — неограниченно в одну сторону, например: О <С или конечно: Указанные значения образуют область К определения параметра. Каждая случайная величина пусть принимает одно из конечного или счетного числа значений, например, (для дальнейшего существенна не столько конечность сколько конечность энтропий Описанный процесс — дискретную случайную величину как функцию дискретного параметра будем называть дискретным процессом.

Дискретный процесс является стационарным, если все законы распределения (произвольной кратности ) не меняются при сдвиге:

(а — любое целое).

Величина сдига а предполагается такой, что значения а не выходят из области К определения параметра В дальнейшем мы это не будем оговаривать, предполагая, скажем, что область определения параметра не ограничена в обе стороны.

Рассмотрим различные условные энтропии одной из случайных величин дискретного стационарного случайного процесса. Ее безусловная энтропия вследствие свойства (5.1.1) не зависит от выбранного значения параметра Аналогично согласно (5.1.1) условная энтропия не за висит от Применяя теорему 1.6, имеем неравенство

Или, учитывая стационарность,

Если ввести условную энтропию то применение теоремы 1.6а при Даст неравенство

Согласно условию стационарности (5.1.1) эта энтропия не зависит от

Аналогичным образом, увеличивая число случайных величин в условии, мы и дальше будем иметь монотонное изменение (невозрастание) условной энтропии:

Кроме того, все условные энтропии неотрицательны, т. е. ограничены снизу. Отсюда вытекает существование неотрицательного предела

который мы будем обозначать также чтобы избежать увеличения числа индексов.

Этот предел мы определяем как удельную энтропию, рассчитанную на один элемент последовательности Основанием для такого наименования является следующая теорема.

Теорема 5.1. Если стационарный дискретный процесс, такой, что то предел

существует и равен пределу (5.1.3).

Доказательство. Рассмотрим энтропию и представим ее в виде

Поскольку

согласно (5.1.3) (здесь при то из (5.1.4) имеем (после деления на

Пусть тип стремятся к бесконечности так, что тогда будет стремиться к 1, а отношение которое можно оценить

будет, очевидно, стремиться к 0.

Поэтому из равенства (5.1.5) получаем утверждение теоремы. Доказательство закончено.

Нетрудно доказать также, что с ростом I отношение меняется монотонно, т. е. не возрастает. Для этого образуем разность

и представим ее в виде

Вследствие неравенств (5.1.2) слагаемые в правой части (5.1.6) являются неотрицательными, откуда вытекает неотрицательность разности

Согласно теореме 5.1 имеет место равенство

Образуем комбинацию

Легко доказать, что она является монотонной функцией от при фиксированном (или наоборот). В самом деле, ее можно записать в форме

Поскольку условные энтропии не возрастают с ростом согласно (5.1.2), то выражение (5.1.9) не убывает при увеличении То же самое можно сказать и о зависимости от так как в (5.1.8) тип

входят симметрично. Из (5.1.9) очевидна также неотрицательность комбинации (5.1.8) (в силу теоремы 1.6 при

Рассмотрим предел

Менять порядок пределов здесь можно вследствие уже отмеченной симметрии относительно перестановки В силу указанной монотонности этот предел (конечный или бесконечный) всегда существует. Переходя от формы записи (5.1.8) к форме (5.1.9), с использованием иерархического соотношения

(типа (1.3.4)) равенство (5.1.10) можно записать, выполнив предельный переход

так как

Если энтропию здесь представить в виде иерархической суммы (1.3.4), то формула (5.1.11) примет вид

Согласно (5.1.11) имеем

Эта формула уточняет (5.1.7).

Поскольку на один элемент последовательности приходится в среднем энтропия Ни то на таких элементов приходится Согласно (5.1.13) энтропия отличается от при больших на величину которую можно трактовать как энтропию, приходящуюся на концы отрезка. Таким образом, энтропия каждого конца отрезка стационарного процесса в пределе равна Г.

Если один длинный отрезок стационарногопроцесса разбить на два отрезка и ликвидировать статистические связи (корреляции) между процессами на этих отрезках, то энтропия возрастет приблизительно на так как появятся два новых конца.

Применяя формулу (5.1.13) для трех отрезков длиной и образуя комбинацию (5.1.8), теперь имеем

Это согласуется с (5.1.10) и подтверждает сказанное об увеличении энтропии на