2.11. ИНФОРМАЦИЯ В НЕПРЕРЫВНЫХ СИГНАЛАХ

Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть — случайная величина (сечение или отсчет случайного сигнала), определенная в некоторой непрерывной области, и ее распределение вероятностей характеризуется плотностью

Разобьем область значений величины на небольшие интервалы протяженностью Вероятность того, что приблизительно равна причем приближение тем точнее, чем меньше интервал Степень неожиданности такого события равна Если не уточнять значение в пределах конечного интервала а заменить их

значениями в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как

Будем теперь увеличивать точность определения значения уменьшая интервал В пределе, при должна получиться энтропия непрерывной случайной величины:

Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей 5. Это значит, что собственная информация любой непрерывной случайной величины бесконечно велика. В этом нет ничего неожиданного, так как для того, чтобы точно задать значение например, в виде десятичной дроби, необходимо сообщить бесконечное количество цифр.

Тем не менее, как сейчас будет показано, взаимная информация между двумя непрерывными ансамблями, как правило, остается конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передается с конечной скоростью.

Обратим внимание на первый член в (2.147). Он является конечным и определяется плотностью распределения вероятности Его называют дифференциальной энтропией и обозначают

Дифференциальную энтропию, в отличие от обычной энтропии дискретного ансамбля, нельзя рассматривать как меру собственной информации. Она не обладает многими свойствами обычной энтропии, в частности, может принимать и отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух - дифференциальных энтропий, чем и объясняется ее название. Впрочем, овойство аддитивности сохраняется и для дифференциальной энтропии, т. е. дифференциальная энтропия нескольких сечений случайного процесса равна сумме их дифференциальных энтропий, вычисляемых, конечно, с учетом вероятностных зависимостей между сечениями.

Попытаемся теперь определить с помощью предельного перехода взаимную информацию между двумя непрерывными случайными величинами, Разбив области определения соответственно на небольшие интервалы и А и, заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы (2.147).

Исходя из выражения (2.137), можно определить взаимную информацию между непрерывными величинами

При этом предельном переходе никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаймная информация (2.149) оказывается конечной. С помощью простых преобразований ее можно представить и в таком виде:

Здесь определенная ранее дифференциальная энтропия условная дифференциальная энтропия. Формула (2.150) имеет ту же форму, что и (2.135), и отличается лишь заменой энтропии дифференциальной энтропией. Легко убедиться, что основные свойства взаимной информации (2.138) и (2.139) остаются справедливыми и в данном случае.

Аналогично по формуле (2.149) или (2.150) определяется и взаимная информация между двумя случайными -мерными векторами, но фигурирующие в этой формуле плотиости вероятностей оказываются многомерными.

Для нахождения взаимной информации между случайными процессами чаще всего используют их разложение по некоторому ортогональному базису. Взаимная информация между процессами совпадает со взаимной информацией между случайными векторами составляющими которых являются коэффициенты разложения соответственно Задача несколько облегчается, если применить не произвольное, а каноническое разложение (см. с. 66), так как при этом составляющие каждого вектора между собой не коррелированы.

В качестве примера, который понадобится в дальнейшем, найдем дифференциальную энтропию случайной величины X с нормальным распределением вероятности:

где а — математическое ожидание, а дисперсия Подставив (2.151) в (2.148), найдем

Первый интеграл по общему свойству плотности вероятности равен 1, а второй интеграл по определению дисперсии равен Окончательно

Таким образом, дифференциальная энтропия гауссовской случайной величины не зависит от ее математического ожидания и монотонно возрастает с увеличением дисперсии.

В заключение докажем одно важное свойство нормального распределения: из всех непрерывных случайных величин X с одинаковой дисперсией наибольшую дифференциальную энтропию имеет величина с нормальным распределением.

Для доказательства отметим, прежде всего, что для любой плотности вероятности с дисперсией справедливо равенство

Это равенство выводится совершенно таким же образом, как и (2.152). Рассмотрим теперь разность

причем равенство имеет место только при бовалось доказать.

При выводе (2.153) использовалось неравенство (2.124) и то, что интеграл от любой плотности вероятностей в бесконечных пределах равен 1.

Такую же теорему можно доказать и для многомерных гауссовских величин.