2.7. Информация как случайная величина

Меры информации, введенные в предыдущих разделах, могут рассматриваться как случайные величины в том смысле, что каждая из них принимает некоторое значение для любой эчки ансамбля, на котором они определены. Другими словами, мы можем рассматривать количество информации как

некоторую величину, связанную со случайным событием. Тот факт, что эта величина сама является функцией вероятностей точек ансамбля, несуществен.

Позднее нам придется сталкиваться с разнообразными совокупностями свойств количества информации. Поэтому будет весьма полезно наглядно представлять себе распределение вероятностей для количества информации, рассматриваемого как случайная величина. Например, рис. 2.4 иллюстрирует распределение вероятностей собственной информации сообщений, показанных на рис. 2.1. Если через и мы обозначим какое-либо сообщение из ансамбля то функция

построенная на рис. 2.4, представляет собой вероятность того, что собственная информация равна Иначе говоря, функция есть распределение вероятностей собственной информации в и. Так как мы рассматривали дискретный ансамбль, то информация может принимать только дискретное множество значений.

Рис. 2.4. График для ансамбля сообщений, изображенного на рис. 2.1.

Следовательно, график на рис. 2.4 состоит из дискретного множества вертикальных линий, длины которых равны вероятностям того, что информация принимает значения, отмеченные на оси Например, вертикальная линия имеет длину поскольку два сообщения с информацией, равной 3, появляются каждое с вероятностью следовательно, с общей вероятностью

Функция распределения некоторой случайной величины есть, по определению,

т. е. вероятность того, что меньше или равно Функция распределения собственной информации сообщений,

приведенных на рис. 2.1, показана на рис. 2.5. Если рассматривать каждую вертикальную линию на рис. 2.4 как импульс с весом (т. е. площадью), равным высоте линии, и если учесть, что интеграл от единичного импульса есть единичная ступенька, то функцию распределения можно представить интегралом

где плотность распределения вероятностей определяется из выражений

где произвольно малое положительное число (меньшее, чем наименьшая разность между возможными значениями

Рис. 2.5. График для ансамбля сообщений, изображенного на рис. 2.1.

Часто используемой характеристикой случайной величины является ее математическое ожидание или средне значение, определяемое как

где плотность распределения вероятностей задается соотношениями (2.73) и (2.74) и суммирование ведется по точкам ансамбля Для среднего значения по ансамблю мы будем пользоваться обозначением Для ансамбля, приведенного на рис. 2.1, это среднее значение равно 2,75 двоичных единиц.

Другой полезной характеристикой случайной величины является ее дисперсия, определяемая как

Дисперсия собственной информации (в дв. ед.) для ансамбля рис. 2.1 равна .

Рис. 2.6. Пример двоичного симметричного канала.

Рассмотрим теперь двоичный симметричный канал, изображенный на рис. 2.6. Распределение вероятностей

взаимной информации между входными и выходными символами построено на рис. 2.7.

Каждая вертикальная линия соответствует паре ее высота равна вероятности появления пары, а ее положение на оси дает значение взаимной информации.

Соответствующая функция распределения для взаимной информации

построена на рис. 2.8.

Мы снова можем представить функцию распределения в интегральной форме

где плотность распределения вероятностей определяется двумя равенствами

где такое же произвольно малое положительное число, как и в выражении (2.74).

Рис. 2.7. График для канала, изображенного на рис. 2.6.

Аналогично выражению (2.75), математическое ожидание или среднее значение взаимной информации определяется по формуле

где плотность задается равенствами (2.80) и (2.81), а суммирование ведется по всем точкам произведения ансамблей Для среднего значения по произведению ансамблей мы будем пользоваться обозначением Для канала рис. 2.6 это среднее значение равно 0,353.

Нас также будут интересовать условные распределения вероятностей вида

где некоторая точка из ансамбля У. В частном случае канала, приведенного на рис. 2.6, условное распределение вероятностей для изображается двумя вертикальными линиями

Соответствующее условное математическое ожидание равно

что для рассмотренного примера дает

Ясно, что если — некоторый символ, принятый на выходе канала, то представляет собой среднее количество информации, содержащееся в относительно переданного символа х.

Рис. 2.8. График для канала, изображенного на рис. 2.6.

В разд. 2.9 мы увидим, что эта величина всегда неотрицательна, несмотря на то что взаимная информация может быть отрицательной. Отсюда следует, что среднее значение взаимной информации

также является неотрицательным.

Следующие два раздела посвящены более детальному изучению свойств различных средних значений количества информации.