§ 2.2. Непрерывные ансамбли и источники. Обобщение понятия количества информации

Все предыдущее рассмотрение относилось только к случаю дискретныхансамблей и соответственно к случаю, когда дискретные ансамбли являлись моделями источников сообщений. Класс дискретных источников не исчерпывает всего многообразия источников, встречающихся на практике. Например, источник, порождающий речевые сообщения, не является дискретным, ибо в каждый момент времени выходным сигналом источника является некоторое действительное число — величина звукового давления.

В этом параграфе мы введем непрерывные ансамбли сообщений, которые могут служить моделями источников непрерывных

сообщений. Начнем с наиболее простого случая, а именно, ансамбля, соответствующего непрерывной случайной величине (с. в.).

Пусть на числовой оси задано некоторое распределение вероятностей, определяющее с. в. X, и функция распределения этой с. в., т. е. такая функция, что ее значение в точке х равно вероятности появления с. в. X в интервале

Если существует функция такая, что для всех х на числовой оси

то она называется функцией плотности вероятностей (ф. п. в.) (или просто плотностью вероятностей) с. в. Для любого интервала числовой оси вероятность появления с. в. в этом интервале определяется по формуле

Очевидно, функция неотрицательна и монотонно не убывает, причем Функция плотности вероятностей неотрицательна и ее интеграл в пределах от до равен единице. Последнее условие обычно называют условием нормировки. В зависимости от свойств распределений вероятностей может быть нескольких типов функции Если эта функция ступенчатая и имеет конечное число ступенек, то распределение называется дискретным и соответствует дискретной случайной величине. В этом случае функции плотности в обычном смысле не существует. Если для в каждой точке может быть определена производная, то распределение соответствует непрерывной случайной величине. Производная функции распределения в этом случае есть ф. п. в. Указанные два случая — наиболее часто встречающиеся в приложениях. Главным образом, этими случаями ограничивается рассмотрение настоящей книги. Смешанный тип распределения — это такой, когда непрерывна (справа) в каждой точке, за исключением конечного числа точек, где функция распределения имеет ступеньки. Наконец, последний тип распределения имеет место, когда непрерывна в каждой точке (справа), но ф. п. в. всюду или на каком-либо интервале не существует.

Пример 2.2.1. Рассмотрим дискретную случайную величину — число очков при бросании кости. Возможные значения для этой с. в. суть

Очевидно, где целая часть при и при рис. 2.2.1).

Пример 2.2.2. Рассмотрим непрерывную с. в., которая задается функцией распределения

Нетрудно найти ф. п. в. этого распределения (см. рис. 2.2.2)

Пример 2.2.3. На рис. 2.2.3 показана функция распределения смешанного типа. Все значения, кроме имеют нулевые вероятности (но не плотности вероятностей), как любой непрерывной Значения появляются с ненулевыми вероятностями, как в дискретном случае.

Рис. 2.2.1. Функция распре, деления числа очков при бросании игральной кости.

Определение 2.2.1. Непрерывным ансамблем, задаваемым ф. п. в. , будем называть пару где X — числовая ось и распределение вероятностей на X задается

Согласно этому определению мы отождествляем понятия непрерывного ансамбля и непрерывной действительной случайной величины, имеющей Система совместно заданных непрерывных ансамблей вводится таким же образом, как и в случае дискретных ансамблей. Пусть числовые оси и (произведение множеств действительная плоскость, т. е. множество всех упорядоченных пар где Пусть совместная функция распределения на множестве Функции распределения на множествах при этом определяются из соотношений

соответственно.

Определение 2.2.2. Пусть распределения вероятностей на задаются причем определяется соотношением

а

В этом случае будем говорить, что есть система двух совместно заданных непрерывных ансамблей

Всякий раз, как совместно заданы два непрерывных ансамбля, определено семейство различных условных непрерывных ансамблей. Так, если фиксировано сообщение для которого то на множестве X определена условная ф. п. в.

и условный непрерывный ансамбль Аналогичным образом определяется условный непрерывный ансамбль

Рис. 2.2.2. Функция плотности вероятностей непрерывной с. в. примера 2.2.2.

Рис. 2.2.3. Функция распределения смешанного типа.

Система более двух непрерывных ансамблей вводится в точности так же, как система двух ансамблей. Пусть произведение множеств, каждое из которых является числовой прямой. Элементы множества представляют собой действительные последовательности длины Будем считать, что распределение вероятностей на этом множестве задается -мерной ф. п. в.

Другими словами, для любого набора интервалов вероятность попадания последовательности в -мерную область, задаваемую указанными интервалами, определяется -кратным интегралом

Пусть

Соотношения (2.2.9) задают безусловные ф. п. в. на множествах соответственно. В этом случае будем говорить, что есть система совместно заданных непрерывных ансамблей Если

для любых то непрерывные ансамбли называются статистически независимыми.

Заметим, что при задании системы непрерывных ансамблей фактически оказываются заданными всевозможные системы по непрерывных ансамблей.

Пусть непрерывный ансамбль и произвольная действительная функция на X, отображающая числовую прямую X в себя Всякая такая функция порождает некоторый ансамбль и называется случайной величиной на ансамбле Если ступенчатая функция с конечным числом значений, то она порождает дискретный ансамбль где множество значений функции и

Если непрерывная функция, то она порождает непрерывный ансамбль где числовая ось, а определяется из уравнения у

Для каждой с. в. определены ее числовые характеристики, например, математическое ожидание и дисперсия. Все числовые характеристики непрерывных случайных величин определяются так же, как и в случае дискретных случайных величин (см. § 1.2) с заменой вероятностей на ф. п. в. и сумм на интегралы. Очевидно, что для непрерывных с. в. справедливо неравенство Чебышева (1.2.8) и закон больших чисел (теорема 1.2.1) (см. также задачи

Рассмотрим теперь совместное задание непрерывного ансамбля X и дискретного ансамбля Для этого удобно рассматривать дискретный ансамбль как результат дискретизации некоторого непрерывного ансамбля Пусть — пара совместно заданных непрерывных ансамблей Пусть разбиение множества на непересекающиеся

подмножества. Введем в рассмотрение дискретное множество и будем говорить, что происходит событие уесли точка непрерывного ансамбля попадает в множество Для каждого у вероятность этого события определяется формулой

Переход от непрерывного ансамбля к дискретному называется дискретизацией. Очевидно, что любой дискретный ансамбль можно себе представлять как результат дискретизации некоторого непрерывного.

Так же, как и в дискретном случае, разбиение на подмножества задает семейство условных плотностей вероятностей на множестве X

Отсюда и из (2.2.7) следует, что

С другой стороны, на дискретном множестве определены условные вероятности

Таким образом, ансамбль X задается ф. п. в. ансамбль распределением вероятностей а ансамбль задается двумя эквивалентными способами: либо посредством функции

либо посредством функции

Соотношение (2.2.14) показывает, что обе эти функции совпадают и определяют следующую функцию распределения на множестве

При рассмотрении различных функций на числовых множествах и изучении их свойств часто бывает необходимо рассматривать одновременно и дискретные и непрерывные распределения вероятностей. Такое общее рассмотрение можно осуществить с помощью функций распределений. Однако многие результаты, относящиеся к непрерывным распределениям, традиционно излагаются в терминах плотностей вероятностей и в этой форме имеют более простой вид, чем в форме, использующей функции распределения. Поэтому желательно также иметь описание дискретных распределений с помощью функций, имеющих смысл функций плотностей вероятностей. Ниже мы рассмотрим дельта-функцию Дирака (одну из так называемых обобщенных функций) и используем ее для задания плотностей вероятностей дискретных случайных величин.

Дельта-функция Дирака, определяется следующим формальным равенством:

где произвольная непрерывная функция и произвольный интервал на числовой оси. Очевидно, что

и

Дельта-функцию можно умножать на число, складывать с другими дельта-функциями и складывать с обычными интегрируемыми функциями. Отдельно аналитические свойства дельтафункции не исследуются (хотя и можно представлять функцию например, как предел последовательности сужающихся импульсов с единичной площадью). Она имеет смысл только в выражениях вида (2.2.18).

Покажем теперь, как используется дельта-функция для описания дискретных с. в. Пусть произвольное числовое множество и — распределение вероятностей на Очевидно, что функция распределения где суммирование выполняется по всем таким индексам что . В этом случае

есть формальное выражение для обобщенной ф. п. в. указанного дискретного распределения, так как

Если на произведении дискретных множеств задано распределение вероятностей то обобщенная этого распределения

Безусловные ф. п. в. определяются обычным образом:

Отношение выражений, содержащих дельта-функции, вообще говоря, не определено, и поэтому условные ф. п. в., например не являются ни обычными, ни обобщенными ф. п. в. Однако, если положить

для всех выражений такого вида с ненулевыми коэффициентами то

где

и функция становится обобщенной ф. п. в. для всех Для остальных у эта функция не определена. Кроме того,

где

Введем теперь количество информации между сообщениями непрерывных ансамблей. В дискретном случае взаимная информация определялась через количество собственной информации в сообщении (см. определение Однако в случае непрерывных ансамблей вероятность каждого отдельного сообщения равна нулю, и, следовательно, собственная информация сообщений бесконечна. С физической точки зрения бесконечно большая собственная информация соответствует тому, что всякая непрерывная с. в, принимает бесконечное число значений, каждое из которых можно рассматривать как некоторое сообщение. Хотя собственная информация сообщений непрерывного ансамбля бесконечно велика, взаимная информация между парой сообщений, как мы увидим ниже, как правило, ограничена.

Определение 2.2.3. Количеством взаимной информации между сообщениями непрерывного ансамбля называется величина

определенная для всех пар таких, что Для остальных пар сообщений количество взаимной информации в случае необходимости доопределяется произвольным образом.

Заметим, что из (2.2.26) вытекает совпадение формул (2.2.27) и (2.1.7), определяющих взаимную информацию для непрерывного и дискретного случаев, если под понимать обобщенные ф. п. в. дискретных с. в.

Дополнительным основанием для указанного выше определения взаимной информации служит следующее рассуждение, основанное на дискретизации непрерывных ансамблей и предельном

переходе. Пусть интервалы на осях соответственно и

— соответствующие этим интервалам вероятности. С каждым интервалом можно связать событие из некоторого дискретного множества. Так, предположим, что события, состоящие в том, что точка из X принадлежит интервалу и точка из принадлежит интервалу соответственно. Между событиями определена взаимная информация

Устремляя получим

Этот предел и служит взаимной информацией между сообщениями непрерывных ансамблей.

Рассмотрим теперь непрерывный ансамбль По аналогии с (2.2.27) можно определить условную информацию между парой сообщений при фиксированном сообщении

и информацию между парой сообщений и третьим сообщением

где условные и безусловные ф. п. в. определяются соотношениями, аналогичными (2.1.8)-(2.1.11), в которых суммы заменены на интегралы, а вероятности — на ф. п. в.

Каждое из количеств информации, определяемое соотношениями (2.2.27), (2.2.30) и (2.2.31), представляет собой случайную

величину на соответствующем непрерывном ансамбле. Математическое ожидание

называется средней взаимной информацией между непрерывными ансамблями Математическое ожидание

называется средней взаимной информацией между непрерывными ансамблями относительно сообщения z ансамбля Математическое ожидание

называется средней взаимной информацией между непрерывными ансамблями относительно непрерывного ансамбля Математическое ожидание

называется средней взаимной информацией между парой непрерывных ансамблей и непрерывным ансамблем

Пример 2.2.4. Пусть двумерного гауссовского (нормального) закона распределения вероятностей на плоскости (см. [2]):

Эта функция зависит от пяти параметров и Первые четыре параметра представляют собой математические ожидания и дисперсии соответствующих одномерных распределений, которые также являются гауссовскими:

Параметр называется коэффициентом корреляции.

Для такого распределения вероятностей нетрудно вычислить величину средней взаимной информации. Используя в этом месте натуральные логарифмы и применяя формулу (2.2.32), ттолучпм

где использованы определения дисперсии и коэффициента корреляции:

Таким образом, средняя взаимная информация между двумя непрерывными совместно гауссовскими ансамблями (с. в.), имеющими коэффициент корреляции определяется выражением

Во всех приведенных выше определениях средней взаимной информации (2.2.32)-(2.2.35) некоторые ансамбли могут быть непрерывными, а другие — дискретными. В этом случае приведенные формулы сохраняются, если ф. п. в. рассматривать как обобщенные ф. п. в. Возможно также представить эти формулы и в виде, использующем дискретные распределения. Для этого интеграл по соответствующей переменной должен быть заменен суммой, а ф. п. в. - выражениями вида (2.2.15), (2.2.16) с соответствующими обобщениями на случай более двух переменных. В качестве примера приведем формулу для средней взаимной информации для случая, когда непрерывные ансамбли, дискретный:

Средняя взаимная информация между непрерывными или между непрерывными и дискретными ансамблями обладает многими

из свойств, которые были раньше сформулированы для случая дискретных ансамблей. Так, теоремы 2.1.1 и 2.1.2 остаются справедливыми. Доказательства почти полностью повторяют соответствующие доказательства в дискретном случае. Читателю предлагается доказать указанные теоремы самостоятельно.

В заключение этого параграфа — несколько замечаний о непрерывных источниках сообщений. Определение непрерывного источника (с дискретным временем) опирается на определение последовательности непрерывных ансамблей. Все, что было сказано о задании дискретных источников, переносится без существенных изменений на случай непрерывных источников. В частности, без изменений остается определение 1.1.2, в котором для задания непрерывного источника требуется согласованное задание всех -мерных распределений вероятностей отрезков сообщений длины Также без изменений остаются определения стационарного источника, источников без памяти и стационарного источника без памяти (определения 1.1.3, 1.1.4). Единственное отличие непрерывного случая от дискретного состоит в том, что вероятности заменяются на ф. п. в., а суммы — на интегралы.