9.7. Другой подход к определению ценности шенноновской информации

1. Зададимся целью приблизить по форме определение ценности шенноновского количества информации к определениям (9.2.5), (9.2.6), которые в отличие от (9.3.12) содержат минимизацию по и во втором члене. Для этого дадим другое ее определение при помощи минимизации по и.

Введем модифицированную функцию ценности шенноновского количества информации, которая, как это будет видно из дальнейшего, иногда совпадает с

Пусть задана бейесовская система Введем вспомогательную случайную величину принимающую значения из некоторого пространства и связанную с х переходными вероятностями Будем трактовать как наблюдаемую величину, несущую информацию об х. После наблюдения z оптимальная нерандомизированная оценка как обычно в теории оптимальных статистических решений, определяется минимизацией

Добавим теперь минимизацию по различным переходным вероятностям которые совместимы с информационным ограничением

Это приводит к функции ценности информации

где множество условных распределений удовлетворяющих условию (9.7.3).

Нетрудно понять, что при любом выборе пространства выполняется неравенство

В самом деле, из (9.7.3) следует, что так как Поэтому распределение при входит в множество распределений перебираемых при минимизации по в определении (9.3.12) функции Указанный факт (9.7.5), разумеется, связан с разобранной ранее теоремой 9.2.

2. Функция ценности (9.7.4) согласно ее определению оказывается зависящей от выбора измеримого пространства Докажем, что его всегда можно подобрать таким образом, чтобы достигло своей верхней границы, т. е. чтобы неравенство (9.7.5) обратилось в равенство (9.7.1).

Доказательство. Допустим, что для рассматриваемой бейесовской системы экстремум третьей вариационной задачи при условии

достигается на определенном распределении которое обозначим Это экстремальное распределение задает двумерное распределение и условное распределение Почти при каждом и распределение есть вероятностная мера на X, т. е. точка пространства П. Таким образом, фиксация условного распределения означает фиксацию (определенного почти всюду) нерандомизированного отображения пространства значений и на П. Пусть в схеме

рандомизированное преобразование и осуществляется с вероятностями перехода а второе преобразование в соответствии с указанным выше отображением. Очевидно, что (в силу общих свойств шенноновской информации). Вследствие (9.7.6) отсюда имеем

Таким образом, распределение описанной конкретной схемы преобразований (9.7.7) удовлетворяет условию (9.7.3) при Оно входит в множество распределений, перебираемых в (9.7.4), откуда имеем

Здесь последний член соответствует вышеуказанному конкретному распределению Условное математическое ожидание

берется с вероятностями

так как

Вследствие (9.4.21) имеем

поэтому

В силу самого понятия имеем

при любом и. Возьмем в качестве и прообраз точки 2 (по указанному выше отображению и т. е. одну из тех точек и, для которых

Тогда неравенство (9.7.12) примет вид

Здесь в правую часть подставлено вместо Подставляя далее (9.7.13) в (9.7.11) и усредняя по получаем

[опять использовано (9.7.10)]. Это соотношение позволяет преобразовать (9.7.8) к виду

Выражение в правой части здесь есть не что иное как ценность шенноновской информации. Сравнение полученного неравенства с (9.7.5) дает (9.7.1). Доказательство закончено.

3. Вследствие теоремы 9.9 и формулы (9.7.4) ценность шенноновского количества информации задается выражением

где точка пространства распределений П. При этом множество условных распределений ограничено неравенством

Покажем теперь, что функции ценности в свою очередь, могут быть определены по формуле (9.7.14), но при замене допустимого множества на какие-то более узкие множества соответственно, такие, что

Для фиксированного разбиения входящего в определения (9.2.6), (9.6.5), целесообразно положить

где - вероятностная мера в пространстве П, сконцентрированная в точке Из (9.7.15) имеем

Как видно из выражения в правой части (9.7.15), событие с вероятностью 1 влечет событие и наоборот. Поэтому

Для множества распределений типа (9.7.15) согласно (9.7.17) интеграл по в (9.7.14) превращается в сумму и мы имеем

Далее вследствие (9.7.18) это выражение принимает вид

При этом для множества распределений типа (9.7.15) минимизация по сводится к минимизации по разбиениям Полученное выражение совпадает с выражением, стоящим в правой части формул (9.2.6а), (9.6.5). Следовательно, ценности информации также могут быть определены по формуле (9.7.14), если при минимизации перебираются распределения вида (9.7.15). Множество соответствующее определению ценности есть множество тех распределений типа (9.7.15), для которых выполнено неравенство (9.6.4).

Вследствие указанной эквивалентности событий преобразование сводится к преобразованию Это значит, что в данном случае

Поэтому из (9.6.4) вытекает условие т. е. условие (9.7.3).

Следовательно, принадлежит множеству Принадлежность же множеству вытекает из того факта, что условие (9.6.4) более слабое, чем условие ограниченности числа областей