4.2. Энтропия стационарного источника

Говорят, что источник стационарен, когда условное распределение вероятностей событий при заданных предшествующих ему событий не зависит от для всех целых т. е.

для всех целых больших чем Отсюда следует, что для стационарного источника все распределения вероятностей инвариантны относительно любых сдвигов вдоль последовательностей, соответствующих увеличению или уменьшению всех подстрочных индексов а на одно и то же целое число. Иначе говоря, статистические характеристики последовательностей на выходе стационарного источника не зависят от выбора начала отсчета времени.

В силу равенства (4.9) энтропии событий, порождаемых стационарным источником, зависят только от относительных положений этих событий в последовательности. Например,

для всех целых больших чем

Рассмотрим теперь условные энтропии последовательных событий, порождаемых источником, при условии, что все предыдущие события заданы, т. е. рассмотрим последовательность, образованную энтропией при возрастающих целых значениях

Теорема. Для стационарного источника условные энтропии событий при условии, что заданы все предшествующие события, образуют монотонную невозрастающую последовательность, т. е.

Доказательство. Согласно равенству (4.10), в каждой из энтропии выражения (4.8) число можно заменить на любые целые числа (большие заданного числа предшествующих событий). В частности, в первой энтропии можно заменить на во второй на в третьей на и т. д. В результате этих подстановок получаем выражение (4.11). Ч. Т. Д.

Теорема. Для любого стационарного источника существует предел

где - некоторое число, характеризующее источник. Это число удовлетворяет неравенству

Доказательство. Энтропия любого дискретного ансамбля (условная или нет) неотрицательна и, в силу равенств (2.90), (2.100) и (2.105), не может превосходить где есть число элементов в ансамбле. С другой стороны, согласно выражению (4.11), -невозрастающая функция целочисленного Отсюда следует, что при возрастании значение должно стремиться к пределу, удовлетворяющему неравенству (4.13). Ч. Т. Д.

Энтропия есть предельное значение среднего количества информации на событие, требуемого для определения сообщения на выходе стационарного источника. Как таковая она выражает информационную скорость (на событие) источника. В этой связи необходимо подчеркнуть, что предел (4.12) может не существовать, если источник не стационарен. В самом деле, условная энтропия нестационарного источника может произвольным образом колебаться между нулем и с возрастанием Важно заметить, что неравенства в выражении (4.8) устанавливают лишь то, что условная энтропия события является невозрастающей функцией от числа уже определенных предшествующих событий, но не

указывают, каким образом условная энтропия события изменяется при увеличении

Рассмотрим далее энтропию произведения ансамблей, образованного последовательными событиями. Из выражения (2.98) следует

Обозначим через среднее арифметическое

Теорема. Средняя энтропия стационарного источника есть не возрастающая функция от и

Доказательство. Из выражений (4.11), (4.12) и (4.14) имеем

и, следовательно,

откуда, используя выражение (4.15), получаем, что

Это неравенство означает, что есть невозрастающая функция а так как она и неотрицательна, то должна стремиться к пределу при Рассматриваемый предел можно оценить следующим образом.

Пусть и — два сколь угодно малых положительных числа. Перепишем в виде

Тогда, используя выражение (4.11), получаем

С другой стороны, в силу выражений (4.11) и (4.12), мы можем всегда найти целое у, для которого

Далее, для любого такого целого мы можем найти целое для которого

При этих условиях

Кроме того, разделив неравенство (4.17) на и используя выражение (4.11), (4.12) и (4.15), получаем

Ч. Т. Д.