2.11. Средняя взаимная информация и энтропия для непрерывных пространств

Условное математическое ожидание при фиксированном есть, по определению,

где интегрирование ведется по всему пространству дифференциальный элемент объема этого же пространства.

Теорема. Для заданного произведения непрерывных ансамблей условное математическое ожидание взаимной информации удовлетворяет неравенству

в котором знак равенства имеет место тогда и только тогда, когда

Доказательство. Доказательство этой теоремы весьма сходно с доказательством соотношения (2.108) и поэтому опускается.

Среднее значение взаимной информации по произведению ансамблей есть, по определению,

Отсюда и из вышеприведенной теоремы следует, что

где равенство имеет место тогда и только тогда, когда статистически независимы.

Поучительно исследовать представление среднего значения взаимной информации, определяемое равенством (2.145), как предела, к которому сходится среднее значение взаимной информации между конечными областями пространств и когда эти два пространства последовательно разбиваются на все

меньшие и меньшие области. Предположим, что пространство разбито на областей, а пространство V на областей.

Теорема. Среднее по произведению пространств значение взаимной информации между областями

не убывает при любом подразбиении областей.

Доказательство. Утверждение теоремы равносильно утверждению того, что среднее значение, выражаемое формулой (2.147), никогда не возрастает при объединении любых двух областей в одну. Ввиду симметрии между пространствами для этого достаточно показать, что для любых двух областей справедливо неравенство

которое эквивалентно неравенству

Это неравенство легко доказывается с помощью неравенства (2.91). Ч. Т. Д.

Мы приходим к выводу, что среднее значение взаимной информации, определяемое равенством (2.147) монотонно не убывает при дальнейших подразбиениях областей и сходится в пределе к среднему значению, задаваемому формулой Другими словами, можно рассматривать как максимальное среднее значение взаимной информации между областями пространств при любых разбиениях этих пространств.

Подставляя выражение в формулу (2.145), получаем

где

а определяются из аналогичных выражений. Выражение (2.150) для среднего значения взаимной информации по своему виду аналогично выражениям (2.119) и (2.120) для дискретных пространств. Однако энтропия и условная энтропия, определяемые равенствами (2.151) и (2.152), не являются средними значениями собственной информации, как это имеет место в случае дискретной информации.

Действительно, собственная информация в событии «и принадлежит стремится к бесконечности, когда область стягивается к точке и. Кроме того, как показано ниже, в то время как средняя взаимная информация, определяемая равенством (2.145), инвариантна относительно любых преобразований пространств (с сохранением вероятностной меры), это не имеет места для энтропий, определяемых равенствами (2.151), (2.152).

Рассмотрим взаимно однозначное отображение пространств и V в пространства и обозначим через точки пространств соответствующие Пусть при этом преобразовании вероятностная мера на произведении пространств переходит в вероятностную меру на произведении пространств так что

где суть области соответствующие Из соотношения (2.141) ясно, что

так как взаимная информация зависит только от вероятностей областей, которые, по предположению, инвариантны по отношению к преобразованию. С другой стороны, плотности распределения вероятностей не инвариантны по отношению к преобразованию, как это, очевидно, следует из их определений. Следовательно, не инвариантны по отношению к преобразованию, а поэтому инвариантности нет и для энтропий, определяемых равенствами (2.151) и (2.152),

Рассмотрим в качестве простого примера умножение объема каждой области на постоянную К

соответствующее равномерному растяжению двух пространств. Из выражений (2.153), (2.155), (2.128) и (2.139) мы получаем

откуда следует, что

Ясно, что при таком преобразовании энтропий их разность, являющаяся в соответствии с равенством (2.150) средней взаимной информацией, остается, как и ожидалось, инвариантной.

Пример. В заключение обсуждения непрерывных пространств мы приведем простой пример. Пусть есть одномерные пространства. Обозначим через х и у единственные компоненты соответственно. Тогда произведение пространств есть плоскость, а х и у можно рассматривать как декартовы координаты точек этого произведения пространств. Предположим далее, что х имеют гауссовские распределения с нулевыми средними и дисперсиями, равными соответственно.

Отсюда следует, что

Если рассматривать как амплитуду импульса на входе канала, а у как амплитуду соответствующего выходного импульса, то амплитуда импульса шума, добавляемого к входному импульсу. Постоянная 5 является

среднеквадратичным значением амплитуды входного импульса, а постоянная среднеквадратичное значение импульса шума; их сумма среднеквадратичное значение амплитуды выходного импульса.

Среднее значение взаимной информации между х и у, согласно выражению (2.150), есть

где

Вычисление этих интегралов дает

откуда мы получаем

Ниже мы увидим, что это выражение дает максимальное значение среднего количества взаимной информации между входными и выходными импульсами, если предположить, что импульсы шума имеют гауссовское распределение со среднеквадратичным значением а амплитуда входных импульсов имеет среднеквадратичное значение .