2. МЕРА ИНФОРМАЦИИ

Понятия информации и связи в нашем мире являются слишком широкими и емкими, чтобы можно было ожидать какую-либо универсально применимую количественную меру информации. Однако, как это было объяснено в предыдущей главе, имеется множество ситуаций в связи (в особенности таких, которые включают в себя передачу и обработку данных), для которых информация (или данные) и канал адекватно представляются вероятностными моделями. Меры информации, которые будут определены в этой главе, соответствуют этим вероятностным ситуациям, и вопрос о том, насколько адекватны эти меры, зависит в общем от адекватности вероятностной модели.

2.1. ДИСКРЕТНЫЕ ВЕРОЯТНОСТИ; ОБЗОР И ОБОЗНАЧЕНИЯ

Можно представить себе вероятностную модель как эксперимент, исход которого выбирается из множества возможных исходов с вероятностной мерой, заданной на этих возможных исходах. Множество возможных исходов называется выборочным пространством. Для дискретного множества возможных исходов вероятностная мера просто означает приписывание вероятности каждому исходу. Вероятности, конечно, не отрицательны и сумма их равна единице. Выборочное пространство и его вероятностная мера называются ансамблем; ансамбль будет обозначаться заглавной буквой; исход эксперимента — той же самой, но строчной буквой. Для ансамбля с выборочным пространством вероятность того, что исходом и будет некоторый заданный элемент выборочного пространства, будет обозначаться Вероятность того, что исходом будет произвольный элемент и, обозначается через . В этом выражении нижний индекс используется для того, чтобы отметить, какой ансамбль рассматривается, а аргумент и используется как переменная, которая принимает значения из выборочного пространства. Когда это не вызовет путаницы, нижний индекс будет опускаться.

Например, ансамбль может представлять выход источника в некоторый заданный момент времени; в этом случае алфавит источника есть множество букв является вероятностью того, что выходом будет буква Обычно мы будем иметь дело с экспериментами не с одиночным исходом, а с несколькими. Например, нас

может интересовать последовательность букв источника, или вход и выход канала, или последовательность входов и выходов канала.

Обозначим исходы эксперимента с парой исходов через х и у, и пусть х принимает значения на множестве исходов а у выбирается на множестве исходов Множество называется выборочным пространством множество называется выборочным пространством а множество пар называется совместным выборочным пространством. Вероятностная мера на совместном выборочном пространстве задается совместной вероятностью определенной для Совокупность совместных выборочного пространства и вероятностной меры для исходов х и у называется совместным -ансамблем.

В ансамбле или совместном ансамбле событие определяется как подмножество элементов выборочного пространства. Для дискретного ансамбля вероятность события равна сумме вероятностей элементов выборочного пространства, содержащихся в этом событии. В рассматриваемом -ансамбле событие, состоящее в том, что х принимает некоторое частное значение а и, соответствует подмножеству пар Таким образом, вероятность этого события равна

В более сокращенной записи то же равенство имеет вид

Подобно этому вероятность данного исхода у равна

Следует соблюдать определенную осторожность при обращении с обозначениями и в равенствах (2.1.2) и Символы х и у играют двойную роль: они обозначают как тот исход, который рассматривается, так и переменную. В частности, если выборочные пространства х и у одни и те же, мы не можем подставить элементы выборочного пространства вместо х и у, не вызвав неопределенности.

Если то условная вероятность того, что исходом у является при условии того, что исходом х является определяется равенством

В сокращенной записи оно имеет вид

Подобно этому

События по определению статистически независимые, если

Если то последнее равенство эквивалентно

т. е. условие не меняет вероятность того, что Ансамбли являются статистически независимыми, если условие (2.1.7) удовлетворяется для всех пар из совместного выборочного пространства.

Рассмотрим далее эксперимент со многими исходами, скажем каждый из которых выбирается из некоторого множества возможных исходов. Множество возможных исходов для называется выборочным пространством для а множество возможных исходов для последовательности называется совместным выборочным пространством эксперимента. Для дискретных выборочных пространств вероятностная мера задается совместной вероятностью определенной для каждой последовательности исходов в аргументе. Совокупность совместного выборочного пространства и совместного распределения вероятности называется совместным ансамблем

Распределение вероятностей частных исходов и совокупностей исходов определяется с помощью так же, как в случае двух исходов. Например,

где суммирование распространяется по всем возможным исходам для каждого исхода эксперимента, отличного от Точно так же

Ансамбли называются статистически независимыми, если для всех

В качестве примера использования этих обозначений рассмотрим последовательность N букв источника с двоичным алфавитом 0, 1. Выборочным пространством для каждого является множество Совместным выборочным пространством эксперимента является множество всех последовательностей из N двоичных цифр. Вероятностная мера задает вероятность каждой из этих последовательностей. В частном случае, когда буквы источника статистически независимы, эти вероятности имеют вид (2.1.11). Если N букв имеет одинаковое

распределение, скажем то вероятность последовательности зависит только от числа единиц, содержащихся в ней. Вероятность каждой из

последовательностей, содержащих по символов символов 0, равна