2.4. ВЕРОЯТНОСТЬ И ВЗАИМНАЯ ИНФОРМАЦИЯ ДЛЯ НЕПРЕРЫВНЫХ АНСАМБЛЕЙ

Рассмотрим ансамбль X, определяющий случайную величину х, принимающую значения из выборочного пространства, образованного множеством действительных чисел. Вероятностная мера на этом пространстве проще всего задается с помощью функции распределения

Для каждого действительного числа функция задает вероятность того, что случайная величина х будет меньше или равна Вероятность того, что случайная величина принадлежит интервалу задается равенством

Так как вероятность любого события должна быть неотрицательной, равенство (2.4.2) означает, что является неубывающей функцией Если исключить возможность бесконечных исходов, то возрастает от 0 при до 1 при

Плотность вероятности X (если она существует) задается равенством

Таким образом, является плотностью вероятности, отнесенной к единице длины на оси х. Плотность вероятности является неотрицательной; она может быть больше чем единица, но ее интеграл от до должен быть равен единице. Как видно из равенства (2.4.4), если конечна, то вероятность того, что случайная величина х примет значение, в точности равное равна нулю. Если случайная величина х принимает значение с ненулевой вероятностью, то часто удобно считать, что имеет импульсы величины в точке

Рассмотрим теперь совместный ансамбль который определяет пару х и у случайных величин, принимающих значения из выборочного пространства, образованного множеством действительных чисел. Вероятностная мера на совместном выборочном пространстве может быть задана с помощью совместной функции распределения вероятностей

Она является неубывающей функцией двух переменных и для каждой пары значений и она задает вероятность того, что случайная величина х меньше или равна а случайная величина у меньше или равна Функции распределения задаются с помощью совместных функций распределения равенствами:

Совместная плотность вероятности (если она существует) задается равенством

Функция является плотностью вероятности, отнесенной к единичной площади на плоскости и вероятность того, что пара случайных величин х, у принадлежит некоторой области на плоскости, задается интегралом функции по области.

Отдельные плотности вероятностей, определенные равенством (2.4.3), задаются также равенствами

Если не равна нулю, то условная плотность распределения при заданном X задается равенством

Она является плотностью вероятности, отнесенной к единице длины случайной величины у при значении при условии, что случайная величина х принимает значение Точно так же

Как и для дискретных ансамблей, мы часто будем опускать подстрочные символы у плотностей вероятности, если не будет возникать двусмысленности. Когда это будет делаться, нужно иметь в виду, что, если, например, является плотностью вероятности случайной величины х, то она не обязательно является той же самой функцией, что и плотность вероятности случайной величины у.

Для совместных ансамблей, определяющих более чем две случайные величины, совместная функция распределения и различные совместные, отдельные и условные плотности вероятности определяются аналогичным образом.

Определим теперь взаимную информацию для непрерывного совместного ансамбля. Пусть совместный ансамбль имеет выборочные пространства состоящие из множества действительных чисел, и совместную плотность вероятности Взаимная информация между случайной величиной х, принимающей значение и случайной величиной у, принимающей значение определяется как

В принятых сокращенных обозначениях это равенство имеет вид

Используя равенства (2.4.11) и (2.4.12), это равенство можно представить как

Сходство между определениями информации, предложенными здесь и для дискретных ансамблей, удобно для запоминания, но не дает реального основания для введения этого определения. Для того чтобы дать такое обоснование, проквантуем ось х на интервалы длины А, а ось у — на интервалы длины Получаемые в результате квантованные случайные величины образуют дискретный ансамбль и взаимная информация между некоторым -интервалом и некоторым -интервалом задается равенством

Деля числитель и знаменатель на получаем

Переходя к пределу при стремящимся к нулю, получаем, что это выражение переходит в определенное выше выражение для

Так же как и в случае дискретных ансамблей, взаимная информация является случайной величиной; ее среднее значение равно

Переходя к чуть более общей ситуации, предположим, что выборочное пространство X является множеством -мерных действительных векторов, а выборочное пространство множеством -мерных действительных векторов. Если представляет собой совместную плотность вероятности на совместном -мерном выборочном пространстве, а являются плотностями вероятностей на пространстве соответственно, то снова определяется равенством (2.4.13) и снова может быть представлена как предел при все более и более тонком квантовании каждого измерения совместного пространства. Средняя взаимная информация задается равенством (2.4.18), где теперь интегрирование распространяется по совместному -мерному пространству.

Пусть теперь х, у и z — случайные величины с действительными конечномерными выборочными пространствами и пусть их совместная плотность вероятности. Условная взаимная информация между х и у при заданном определяется как

Эту величину, так же как и можно представить в виде предела при все более и более тонком квантовании по осям Средняя условная взаимная информация задается равенством

С помощью этих определений немедленно получаем все теоремы и равенства, отмеченные звездочками в § 2 2 и 2.3, если использовать приведенные там доказательства и выводы.

При рассмотрении дискретных ансамблей было ясно, что средняя взаимная информация не зависит от обозначений, принятых для элементов отдельных выборочных пространств. Эта инвариантность по отношению к обозначениям свойственна также средней взаимной информации в случае непрерывных ансамблей, хотя это менее очевидно. Чтобы показать это, рассмотрим совместный ансамбль со случайными величинами и пусть у будет некоторым преобразованием т. е. Этот случай можно представить графически (см. рис. 2.3.2), где вход канала, выход канала и у преобразование Так же как и ранее, следовательно, подобно (2.3.19)

Предположим, далее, что у является обратимым преобразованием так, что Теперь можно рассматривать у как выход канала, а как преобразованный выход, получая при этом

Объединяя эти неравенства, получаем следовательно, средняя взаимная информация между двумя ансамблями инвариантна к любому обратимому преобразованию одной из случайных величин. В точности такое же доказательство можно, конечно, применить независимо к любому обратимому преобразованию другой случайной величины.

Рассмотрим теперь вопрос о том, можно ли дать осмысленное определение собственной информации для непрерывного ансамбля. Пусть X будет ансамблем, определяющим действительную случайную величину х с конечной плотностью вероятности Пусть ось х квантуется на интервалы длины А так, что собственная информация интервала равна

В пределе при А, стремящемся к стремится к величине которая стремится к нулю. Таким образом собственная информация интервала стремится к при стремлении длины

интервала к нулю. Этот результат не является удивительным, если представлять себе действительные числа в виде десятичных дробей. Так как для точного представления произвольного действительного числа требуется бесконечная последовательность десятичных знаков, то следует ожидать, что собственная информация будет бесконечной. Трудность здесь состоит в требовании точного задания действительного числа. С физической точки зрения мы всегда удовлетворены приближенным заданием и любое приемлемое обобщение понятия собственной информации должно включать в себя некоторую желаемую аппроксимацию. Эта проблема будет исследована с фундаментальных позиций в гл. 9, но мы будем использовать термин собственная информация только для дискретных ансамблей.

Для того чтобы иметь дело с различными средними и условными взаимными информациями и производить с ними вычисления, оказывается полезным определить энтропию непрерывного ансамбля. Если ансамбль X имеет плотность вероятности определим энтропию X равенством

Аналогично, условная энтропия определяется равенством

С помощью этих определений подобно равенствам (2.2.17) и (2.2.22) будем иметь

Эти энтропии не обязательно положительны, не обязательно конечны, не инвариантны по отношению к преобразованиям случайных величин и не могут быть интерпретированы как средние собственные информации.

Пример 2.4. Следующий пример на приведенные выше определения будет полезен в дальнейшем при рассмотрении каналов с аддитивным гауссовым шумом. Пусть вход канала х будет гауссовской случайной величиной с нулевым средним значением; плотностью вероятности х будет

Параметр является среднеквадратическим значением или «энергией» входа. Будем считать, что выходом канала у является сумма входа и не зависящей от него гауссовской случайной величины с нулевым средним

значением и дисперсией Тогда условная плотность вероятности выхода при условии, что задан вход, имеет вид

Это значит, что при заданном х выход у имеет гауссовское распределение с дисперсией которое сконцентрировано около точки х. Совместная плотность вероятности равна совместный ансамбль полностью определен. Удобнее всего найти среднюю взаимную информацию пользуясь (2.4.27):

В равенстве (2.4.32) было использовано то, что равен дисперсии условного распределения, или

Заметим теперь, что выход канала является суммой двух независимых гауссовских случайных величин и, таким образом, является гауссовской случайной величиной с дисперсией

Находя таким же образом, как имеем

Отметим, что, когда стремится к нулю, выход у аппроксимирует вход х с возрастающей точностью и стремится к Это следовало ожидать, так как уже было показано, что собственная информация любого заданного выборочного значения х должна равняться

Часто нас будут интересовать совместные ансамбли, для которых некоторые случайные величины являются дискретными, а некоторые — непрерывными. Простейший способ описания вероятностной меры таких ансамблей состоит в задании совместной вероятности дискретных случайных величин, принимаемой для каждого возможного совместного исхода, и в задании условной взаимной плотности вероятности для непрерывных случайных величин при условии, что задан каждый совместный исход дискретных случайных величин. Например, если

случайная величина х имеет выборочное пространство а выборочным пространством случайной величины у является множество действительных чисел, то определим при для всех действительных чисел Безусловная плотность вероятности случайной величины у при этом равна

Условная вероятность некоторого значения х при условии, что задано значение случайной величины у, для которого равна

Взаимная информация и средняя взаимная информация между х и у задается соотношениями

Условная взаимная информация определяется аналогичным образом. Все равенства, отмеченные звездочкой в §§ 2.2 и 2.3, остаются, очевидно, справедливыми для этих смешанных дискретных и непрерывных ансамблей.