2.10. Обобщение количества взаимной информации на непрерывные пространства

В целях сохранения математической простоты наше рассмотрение количества информации до сих пор ограничивалось дискретными пространствами. Однако многие физические каналы не могут быть адекватно описаны в терминах дискретных пространств. Это имеет место, например, когда событиями на входе являются импульсы произвольной амплитуды, к которым в канале добавляются импульсы шума. Далее, часто оказывается удобно представить события на входе и результаты наблюдений на выходе как функции от времени на некотором временном интервале выражающиеся в свою очередь в виде сумм ортонормальных функций с произвольными амплитудами. Для того чтобы изучать такие физические каналы, мы должны распространить нашу меру взаимной информации на пары точек, принадлежащих евклидовым пространствам произвольной размерности.

Обозначим через евклидово пространство произвольной размерности, а через и радиус-вектор точки пространства относительно заданного начала координат. Поскольку точки из образуют континуум, мы не можем приписать каждой из них конечную вероятность. Однако для такого пространства мы можем определить функцию области

выражающую вероятность того, что точка и принадлежит области Она является аддитивной функцией области в том смысле, что

где неперекрывающиеся области Конечно,

так как по определению и принадлежит пространству

Смысл аддитивной функции лучше всего можно понять, если представить себе вероятность как массу некоторого вещества, распределенного по пространству Точнее, эта аналогия позволяет нам отождествить вероятность некоторой области с массой вещества в той же области. Конечно, общая масса вещества в пространстве должна равняться общей вероятности 1. Тогда, в силу аналогии, будет представлять собой массу вещества в области

Аналогия с пространственным распределением вещества общей массы, равной 1, позволяет ввести плотность распределения вероятностей

подобно плотности массы, определяемой как предел, когда объем стягивается до нуля около точки и. Будем предполагать, что предел существует в каждой точке пространства. С точками, имеющими конечные вероятности появления, можно обращаться как с точечными массами, т. е. рассматривать их как области исчезающе малых размеров, имеющие конечную вероятность. Будем, кроме того, предполагать, что плотность распределения вероятностей кусочно-непрерывна в пространстве т. е. непрерывна всюду, за исключением, быть может, дискретного числа поверхностей, отделяющих различные области Тогда вероятности, приписанные какой-либо частной области можно выразить через плотность распределения вероятностей в виде интеграла

где дифференциальный элемент объема

Рассмотрим теперь второе евклидово пространство V и обозначим через радиус-вектор некоторой точки этого пространства относительно заданного начала координат. Как и выше, может быть определена плотность распределения вероятностей По аналогии с выражением (2.129) вероятность того, что принадлежит к области выражается в виде

Произведение пространств есть евклидово пространство размерности, равной сумме размерностей Если

рассматривать как подпространства с совпадающими началами координат, то радиус-вектор некоторой точки из есть сумма радиусов-векторов проекций на подпространства

Таким образом, отдельная точка пространства представляет собой пару точек пространств Те же соображения, что и раньше, показывают, что распределение вероятностей на произведении пространств можно выразить через плотность Однако для наших целей удобнее описать распределение вероятностей на как совместное распределение вероятностей на т. е. через функцию

задающую вероятность того, что и и одновременно Соответственно плотность распределения вероятностей на можно представить как совместную плотность распределения вероятностей определяемую пределом

где области одновременно стягиваются к точкам Мы снова предполагаем, что этот предел существует и кусочно-непрерывен на произведении пространств Наоборот, совместное распределение вероятностей, определяемое соотношением (2.132), может быть выражено через совместную плотность распределения вероятностей, определяемую соотношением (2.133), в виде двойного интеграла

где интегралы берутся по областям

Вероятность того, что и принадлежит может быть выражена в виде двойного интеграла от совместной плотности распределения вероятностей, определенной равенством (2.133),

откуда с помощью выражения (2.128) получаем, что

где интеграл вычисляется по всему пространству Аналогично

где интеграл вычисляется по всему пространству

Условная вероятность того, что и принадлежит когда принадлежит есть, по определению,

Соответствующая плотность распределения вероятностей определяется как предел

где области и одновременно стягиваются к точкам

Мы теперь имеем возможность обобщить наше определение количества информации. Рассмотрим произведение ансамблей характеризуемое совместной плотностью распределения вероятностей Взаимная информация между любыми двумя областями и двух пространств есть, согласно определению взаимной информации, данному в разд. 2.3,

Это количество информации, содержащееся в событии принадлежит , относительно события «и принадлежит или, наоборот, количество информации, содержащееся во втором событии относительно первого.

Взаимная информация между точкой и точкой определяется как предел взаимной информации между и когда обе эти области одновременно стягиваются к точкам Этот предел выражается как

Отсюда получаем

Важно заметить, что взаимная информация между точками есть функция от распределения вероятностей на произведении пространств но никак не зависит от положений точек, представляемых векторами Значение этого факта будет рассмотрено в полной мере в следующем разделе.