§ 1.5. Энтропия на сообщение дискретного стационарного источника

Рассмотрим дискретный стационарный источник, выбирающий сообщения из множества Для удобства мы будем обозначать через X ансамбль сообщений в момент времени, хотя множества в каждый момент времени совпадают между собой и совпадают с множеством Для стационарных источников -мерные распределения вероятностей не зависят от сдвига по оси времени. Следовательно, любые величины, зависящие только от -мерных распределений вероятностей, одинаковы для всех сдвигов по оси времени. В частности, энтропия где не зависит от выбора числа

указывающего расположение последовательных моментов времени на оси времени. Поэтому всюду при рассмотрении стационарных источников мы будем опускать этот индекс из обозначения энтропии.

Пусть два ансамбля последовательностей длины соответственно и

— условная энтропия ансамбля относительно ансамбля

Теорема 1.5.1. Для всякого дискретного стационарного источника последовательность имеет предел:

Доказательство. Покажем вначале, что последовательность

не возрастает, Хотя эта последовательность есть последовательность энтропий с возрастающим числом условий, непосредственно применить неравенство (1.4.15) нельзя, так как (1.5.3) есть последовательность энтропий различных ансамблей, а не одного ансамбля, как в (1.4.15). Однако в случае стационарных источников для всех целых

поскольку левая и правая части этого равенства определяются только -мерными распределениями вероятностей. Применяя теперь неравенство (1.4.15), получим, что последовательность (1.5.3) не возрастает.

С другой стороны, все члены этой последовательности ограничены снизу нулем. Любая невозрастающая последовательность, ограниченная снизу, имеет предел. Обозначая этот предел через , получим утверждение теоремы.

Рассмотрим теперь последовательность

Если эта последовательность имеет предел при то этот предел представляет собой среднее количество информации, порождаемое источником в единицу времени, и называется энтропией стационарного источника на сообщение.

Теорема 1.5.2. Для всякого дискретного стационарного источника последовательность (1.5.5) имеет предел, причем

Доказательство. Покажем вначале, что последовательность не возрастает. Рассмотрим энтропию где ансамбль последовательностей сообщений длины Используя свойство аддитивности энтропии, можно записать

где второе равенство есть следствие стационарности (см. 1.5.4)), а неравенство — следствие неравенства (1.4.15). Используя (1.4.21) и (1.4.15), можно получить

Неравенства и (1.5.8) совместно дают

Деля обе части этого неравенства на получим

т. е. рассматриваемая последовательность энтропий не возрастает.

Поскольку последовательность (1.5.5) не возрастает и каждый ее член ограничен снизу нулем, то она имеет предел. Покажем теперь, что этот предел совпадает с .

Можно записать

где Выберем таким, чтобы для заданного положительного выполнялось неравенство

Это всегда можно сделать, так как последовательность имеет предел и стремится

к нему, не возрастая. По выбранному определим так, чтобы для всех

Тогда получим, что для любого всегда найдется такое что для всех

С другой стороны,

Так как — произвольное положительное число, то из (1.5.13) и (1.5.14) следует, что является пределом последовательности Теорема доказана.