2.5. ВЗАИМНАЯ ИНФОРМАЦИЯ ДЛЯ ПРОИЗВОЛЬНЫХ АНСАМБЛЕЙ

Предыдущие рассмотрения дискретных и непрерывных ансамблей с плотностями вероятностей оказываются подходящими для того, чтобы иметь дело практически со всеми задачами в теории информации, представляющими технический интерес, в особенности, если использовать некоторые разумные ограничения при рассмотрении более общих случаев. Однако для того чтобы точно сформулировать более общие результаты, не расчленяя их на множество частных случаев, часто желательна более абстрактная точка зрения. Детальное представление такой точки зрения требует использования теории меры, что выходит за рамки этой книги. В этом параграфе будут кратко описаны те результаты, относящиеся к общему случаю, которые могут быть поняты без теории меры. Эти результаты будут использованы в гл. 7 и понадобятся только при исследовании каналов, которые не могут быть описаны с помощью достаточно хороших плотностей вероятностей. Главный результат, который будет получен в этом параграфе, состоит в том,

что теоремы и равенства, отмеченные звездочками в 2.2 и 2.3, остаются справедливы в общих случаях.

В терминах теории меры ансамбль X определяется выборочным пространством — множеством событий, каждое из которых является подмножеством элементов выборочного пространства и вероятностной мерой на множестве событий. Множество событий обладает тем свойством, что любое конечное или счетное объединение или пересечение множеств событий является другим событием и что дополнение любого события является другим событием. Вероятностная мера обладает следующими свойствами: каждое событие имеет неотрицательную вероятность, все выборочное пространство имеет вероятность, равную единице, и вероятность любого конечного или счетного объединения непересекающихся событий равна сумме вероятностей отдельных событий. Для всех задач, имеющих практический интерес, любое подмножество элементов, которое следует рассмотреть, является событием и имеет вероятность.

Совместный ансамбль (или ) описывается подобным же образом. Элементы совместного выборочного пространства являются парами х, у, а события представляют собой подмножества совместного выборочного пространства. Существует, однако, дополнительное ограничение, состоящее в том, что, если А является событием в выборочном пространстве X, а В является событием в выборочном пространстве то совместное подмножество соответствующее тому, что х принадлежит принадлежит В, является событием в совместном выборочном пространстве. Отдельные вероятностные меры отдельных ансамблей определяются с помощью совместной вероятностной меры Например, если В совпадает со всем выборочным пространством то

Для того чтобы определить среднюю взаимную информацию между двумя ансамблями, рассмотрим вначале разбиение ансамбля. Разбиение ансамбля X определяется как конечный набор , взаимно несовместных событий, объединение которых составляет все выборочное пространство. Физически разбиение может быть истолковано как правило квантования исхода эксперимента. Разбиение можно рассматривать как дискретный ансамбль с элементами и вероятностями При заданном совместном ансамбле можно рассмотреть разбиения пространства X на и пространства на для того чтобы получить совместный дискретный ансамбль Совместные вероятности задаются, конечно, с помощью Определим теперь среднюю

Так как источник стационарный, то для 1 —1. Пусть теперь множество А является объединением множеств Тогда имеем

Поскольку то это сводится к равенству Так как источник эргодический и то должно быть следовательно, Таким образом, показано, что каждое измеримое инвариантное множество для суперисточника имеет вероятность 0 или вероятность, не меньшую

Далее предположим, что инвариантное множество последовательностей суперисточника и что В — инвариантное подмножество Пусть последовательности, содержащиеся в но не содержащиеся в В, заметим, что так что также инвариантное подмножество Из предыдущего результата следует, что Если теперь представить, что В играет роль и повторить приведенные выше рассуждения, то увидим, что постепенно мы должны попасть в которое не имеет инвариантного подмножества Будем называть такое эргодической компонентой суперисточника. Источник, который порождает супербуквы в соответствии с условной вероятностной мерой при условии, что задано является, очевидно, эргодическим источником, так как при условии, что задано каждое инвариантное подмножество имеет вероятность 0 или 1.

Пусть теперь пусть и пусть Каждое должно также образовывать эргодическую компоненту суперисточника, т. е. если подмножество и Вто для соответствующего множества первоначального источника имеем Положив, что получаем, что подмножество Следовательно, подмножество Так как то будет или или Наконец, рассмотрим пересечение Это пересечение является инвариантным множеством и является подмножеством как множества так и множества Таким образом, или или в последнем случае — одни и те же множества (исключая, быть может, разность вероятности нуль). Легко видеть, что если совпадают, то совпадают и где взяты по модулю Отсюда легко следует, что число различных эргодических компонент, скажем является делителем и что в качестве эргодических компонент могут быть взяты В этом случае каждая эргодическая компонента имеет вероятность В случае, представляющем наибольший физический интерес, и суперисточник с самого начала эргодический.

Следующая лемма подытоживает результаты.

(1959) показывает, что мы получим тот же самый результат в обоих случаях.

И, наконец, средняя условная взаимная информация определяется как

Это определение не является столь же общим, как наше определение ; трудность состоит в том, что является неопределенной, если как так и являются бесконечными. Пинскер (1960) дал общее определение, основанное на теории меры, однако нам оно здесь не понадобится. Пример, показывающий, почему нельзя разумно определить как см. в задаче 2.27.

Определение (2.5.4) также оставляет некоторые сомнения относительно того, удовлетворяется ли равенство

Для того чтобы показать, что (2.5.5) удовлетворяется всегда, когда выражения являются определенными при любом заданном выберем разбиения, для которых:

Очевидно, что четыре различных разбиения могут быть выбраны так, что каждое из них будет удовлетворять одному из написанных выше соотношений, и любое разбиение, которое является подразбиением каждого из этих четырех разбиений, удовлетворяет одновременно всем четырем равенствам. Из равенства (2.5.4) следует, что это разбиение будет удовлетворять условиям

С другой стороны, так как то отсюда следует, что

Так как можно выбрать произвольно малым, то из этого неравенства вытекает справедливость (2.5.5).

В качестве примера использования этих определений и для того чтобы показать, что может быть бесконечным, рассмотрим ансамбль, в котором х равномерно распределена на единичном интервале и с вероятностью единица. Разбив пространства на К равновеликих интервалов, можно убедиться, что Так как К можно сделать произвольно большим, получаем, что

Обратимся теперь к задаче определения взаимной информации как случайной величины для произвольных ансамблей. Это определение можно дать только в терминах теории множеств, но, к счастью, у нас не возникнет необходимости в его использовании и мы приводим его здесь только как интересный дополнительный материал. При заданном ансамбле с совместной вероятностной мерой и отдельными мерами и определим произведение вероятностных мер вероятностную меру, заданную на совместном пространстве, если быхиу были статистически независимы и имели меры и Взаимная информация между точкой х ансамбля X и точкой у ансамбля определяется как логарифм производной Радона-Никодима в точке х, у совместной вероятностной меры по произведению вероятностных мер Гельфанд и Яглом (1957) показали, что, если существует событие для которого то в других случаях равна математическому ожиданию

В приведенном выше примере совместная вероятностная мера сконцентрирована на прямой и произведение вероятностных мер равномерно распределено на единичном квадрате. Следовательно, если является событием то устанавливая, таким образом, справедливость результата Гельфанда-Яглома по крайней мере в этом частном примере.

ИТОГИ И ВЫВОДЫ

В этой главе были определены взаимная и собственная информации и установлены некоторые свойства информации, которые будут использованы в последующих главах. Эти свойства в своем большинстве оказались такими, которые следовало бы ожидать при разумном математическом определении информации, но действительное оправдание этих определений появится лишь в последующих главах. Привлекательное слово «информация» позволяет легко построить интуитивное понимание приведенных здесь понятий, но следует быть осторожным и не смешивать эту интуицию с математикой. В идеале наша интуиция должна предлагать новые математические результаты, а условия, требуемые для доказательства этих математических результатов, должны, в свою очередь, обострять нашу интуицию.

ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ

Для дополнительного чтения книга Феллера (1950) является замечательным учебником по теории вероятностей. Материал, содержащийся в этой главе, в основном имеется также у Фано (1961), Эбрамсона (1963) и Эша (1965). Большинство результатов и понятий, приведенных здесь (как и в других главах), развиты Шенноном (1948), оригинальные работы которого остаются до сих пор в высшей степени полезными для чтения. Пинскер (1960) рассмотрел вопросы, изложенные в § 2.5, более полно и строго.