2.12. Взаимная информация между произвольным числом событий

В разд. 2.6 [равенство (2.66)] мы видели, что взаимную информацию между точками двух дискретных пространств можно рассматривать как разность между собственной информацией одной из этих точек и условной собственной информацией той же точки, если другая точка задана. Если два пространства, рассматриваемые две точки, то имеем

Это равенство приводит к исследованию соответствующих разностей между взаимиыми информациями для произведения трех ансамблей образованного тройками точек Для такого произведения ансамблей мы имеем

Весьма интересно заметить, что эта разность симметрична относительно трех точек подобно тому как разность в выражении (2.169) симметрична относительно двух точек Эта симметрия наводит на мысль, что величину

можно рассматривать, как количество взаимной информации между тремя точками

Следуя по тому же пути, мы определим для произведения ансамблей симметричную величину

где произведения, обозначенные символом вычисляются по всем возможным комбинациям различных подстрочных индексов. Эта величина удовлетворяет соотношению

где может быть любой из рассматриваемых точек. Следовательно, равенство (2.172) дает общее определение взаимной информации между произвольным числом точек. Из этих определений легко следует

где суммирование распространяется по всем возможным комбинациям подстрочных индексов. Эта формула указывает способ разложения собственной информации точки произвольного произведения ансамблей в сумму взаимных информаций между точками отдельных ансамблей.

Все вышеприведенные величины можно усреднить по соответствующим ансамблям и выписать соответствующие

соотношения между усредненными величинами. Так, например, средняя взаимная информация для произведения ансамблей есть

Это среднее количество взаимной информации может быть как положительным, так и отрицательным в отличие от которое никогда не отрицательно. То же самое справедливо и для средних значений взаимной информации для произведений ансамблей более высоких порядков.

Рассмотренные в этом пункте обобщенные количества взаимной информации впервые введены (с усреднением по соответствующим ансамблям) и изучены Макгиллом [4]. Он показал, что эти величины можно весьма эффективно использовать в анализе экспериментальных данных о частотах появления дискретных событий, когда обычная техника дисперсионного анализа не может быть использована, поскольку событиям не сопоставляются никакие численные значения. В последнее время эти величины привлекли к себе внимание в связи с изучением каналов со многими входами и выходами.