4.5. Эргодические источники

Точная формулировка условий эргодичности источника выходит за рамки нашего изложения. Однако на следующем примере неэргодического стационарного источника будет проиллюстрировано основное различие между эргодическими и неэргодическими источниками.

Рассматриваемый источник определяется так. Каждое событие, порождаемое источником, может быть одной из четырех букв Распределение вероятностей одно и то же для всех натуральных и равномерно по всем четырем буквам, т. е.

Условное распределение вероятностей задается таблицей

для всех натуральных Условные распределения вероятностей более высоких порядков задаются соотношением

Другими словами, условные распределения вероятностей для зависят только от непосредственно предшествующего события, если это событие задано.

Источник стационарен, так как все распределения вероятностей не зависят от легко убедиться, что равенства (4.38) и (4.39) совместимы в том смысле, что

Предположим, что последовательность на выходе источника разбивается на последовательные сообщения, каждое из которых состоит из двух смежных событий. Распределение вероятностей для сообщений при этом имеет вид

и, конечно, не зависит от Таким образом, значения вероятностей сообщений получаются умножением элементов матрицы (4.39) на Соответственно этому собственная информация сообщений имеет следующие три возможных значения:

которые появляются с вероятностями

Тогда энтропия ансамбля сообщений

Рассмотрим теперь последовательности, которые может порождать источник. Из равенства (4.39) ясно, что имеются два типа возможных последовательностей, а именно последовательность, состоящая из букв а, и и последовательность, состоящая из букв Поскольку первым событием с равными вероятностями может быть любая из четырех букв, то и эти два типа последовательностей будут появляться с равными вероятностями. Можно сказать, что источник фактически состоит из двух различных источников, включаемых с одинаковыми вероятностями.

Обозначим через источник, порождающий буквы а через источник, порождающий буквы Если включен источник то собственная информация сообщения может принимать только одно значение 3, т. е.

Если включен источник то собственная информация сообщения может принять одно из двух значений 4 и 2,415 с вероятностями

Как было установлено в предыдущем разделе, среднее значение по последовательности, определяемое соотношением (4.36), существует для почти всех последовательностей. Однако величина среднего значения по последовательности может быть различна для различных последовательностей сообщений. В нашем примере она имеет одно значение для последовательностей, порождаемых источником и другое для последовательностей, порождаемых источником Первое значение совпадает с условным математическим ожиданием собственной информации сообщения, когда включен источник т. е.

Соответственно второе значение совпадает с условным математическим ожиданием собственной информации, когда включен источник т. е.

Имея в виду, что оба эти источника включаются с равными вероятностями, приходим к выводу, что среднее арифметическое двух средних значений по последовательностям должно совпадать с энтропией, определяемой соотношением (4.45), что действительно и имеет место.

Характерным признаком этого стационарного источника, у которого не совпадают средние значения по последовательности со средними значениями по ансамблю, является наличие у него двух различных режимов работы, соответствующих как

бы двум разным стационарным источникам. Эта особенность рассматриваемого источника несущественна, когда речь идет о любом среднем по ансамблю. В самом деле, если представить среднее по ансамблю как среднее арифметическое, вычисляемое по сообщениям большого числа одинаковых источников рассматриваемого типа, то приблизительно половина из них будет работать в одном режиме и остальные — в другом. В противоположность этому среднее по последовательности вычисляется по какой-либо одной последовательности, порождаемой источником, и поэтому его значение зависит от этого частного режима работы источника.

Стационарный источник, обладающий более чем одним режимом работы, называется приводимым или разложимым. Ансамбль последовательностей, которые могут быть порождены таким источником, содержит два или более подансамбля последовательностей (не совпадающих со всем ансамблем), которые в свою очередь стационарны. Другими словами, каждый из таких подансамблей сам образует отдельный стационарный источник. Неприводимый стационарный источник называется эргодическим. Можно показать, что любой стационарный источник может рассматриваться как комбинация (взаимно исключающих) эргодических источников, каждый из которых задает некоторый отличный от других режим работы всего источника.

В предыдущем разделе мы видели, что в случае эргодического источника среднее по последовательности значение, определяемое выражением (4.36), существует с вероятностью 1 и равно среднему по ансамблю, т. е. энтропии Следовательно, для любого эргодического источника можно интерпретировать как среднее по последовательности количество информации, требуемое для определения каждого из последовательных сообщений, образованных событиями. Далее из выражений (4.15) и (4.16) следует, что определяемое формулой (4.12) предельное значение условной энтропии на событие может быть интерпретировано как среднее по последовательности значение количества информации на событие, требуемое для определения последовательности на выходе источника. Наконец, в соответствии с теоремой, доказанной в разд. 4.3, величина (выраженная в двоичных единицах) может быть интерпретирована как минимальное значение среднего по последовательности значение числа двоичных единиц на событие, которое достаточно для воспроизведения последовательности на выходе эргодического источника с управляемой скоростью.