4.11. Пример

Рассмотрим в качестве примера марковский источник, изображенный на рис. 4.3. Таблица в правой части рисунка дает значения условных вероятностей где может быть 0 или 1. Здесь начальное состояние.

Прежде всего мы видим, что невозвратные состояния, поскольку возвращение ни в одно из них невозможно. Остальные состояния образуют два замкнутых подмножества а следовательно, являются возвратными состояниями. Подцепи и соответствующие каждая одному из двух замкнутых подмножеств, неразложимы. Кроме

того, непериодическое состояние, в то время как периодическое состояние с периодом Следовательно, одна подцепь непериодическая, а другая периодическая.

Рис. 4.3. Пример марковского источника.

Рассматривая сначала непериодическую цепь, мы получим для асимптотических значений вероятностей состояний два уравнения

которые, в свою очередь, сводятся к соотношению

С другой стороны,

поскольку два состояния образуют неразложимую непериодическую цепь. Следовательно,

Состояния периодической подцепи можно разбить на два подмножества такие, что переходы

за один шаг ведут из состояний одного подмножества в состояния другого множества. Из таблицы рис. 4.3 получаем

Подставляя эти значения в равенство (4.117), получаем две системы уравнений

и

Кроме того, должны иметь место равенства

Следовательно,

Остается подсчитать вероятности того, что источник в конечном итоге достигнет состояний подцепи или Для легко получить

и поэтому для

Кроме того, заметим, что начальным состоянием подцепи может быть только так что

Теперь мы можем вычислить асимптотическое значение энтропии на букву для ансамбля последовательностей,

порожденных источником. Для непериодической цепи имеем

В случае периодической цепи мы сначала должны подсчитать значения энтропии для двух подмножеств Для получаем значение

и для значение

Поскольку энтропия на букву для подцепи принимает попеременно асимптотические значения 0,611 и 0,843.

Энтронию на букву для всей цепи можно подсчитать, усредняя полученные выше значения по двум подцепям. С помощью равенств (4.132) и (4.133) получаем два значения

Из рис. 4.3 легко видеть, что значение 0,898 соответствует четным позициям в последовательности букв, порождаемых источником, в то время как значение 0,805 соответствует нечетным позициям. Итак, можно сказать, что асимптотическое значение энтропии на букву состоит из двух компонент: непериодической компоненты, равной 0,561, и периодической компоненты с чередующимися значениями 0,337 и 0,244.