9.6. Ценность больцмановского количества информации

Основной исходной мерой количества информации, без сомнения, является хартлиевское количество информации (см. § 1.1), непосредственно связанное с числом реализаций М. На практике часто пользуются шенноновским количеством информации (6.2.1), которое удобно вычислять аналитически для сложных практических случайных величин и процессов. Однако следует иметь в виду, что обоснованием шенноновского количества информации в конечном счете является его сводимость к хартлиевскому количеству, о чем говорит теорема Шеннона (гл. 7). Ценность шенноновской информации является удобной аппроксимацией ценности хартлиевской информации

Рассмотрим еще одно количество информации — больцмановское, которое занимает промежуточное положение между хартлиевским и шенноновским количествами, и соответствующую функцию ценности.

Как видно из сказанного в гл. 1, количество информации можно определять не только формулой Хартли (1.1.5) и формулой Шеннона (6.2.1), но и формулой Больцмана

Последнее количество информации отличается от хартлиевского количества, а именно

если отличные от нуля вероятности не равны друг другу. В любом случае количество информации (9.6.1) занимает промежуточное положение

между хартлиевским количеством информации и шенноновским

Соответственно этому можно ввести функцию ценности больцмановского количества информации, которая будет занимать промежуточное положение между функцией ценности хартлиевского количества информации и функцией ценности шенноновского количества.

При определении ценности рассматривалась выгода

приносимая информацией носящей дискретный характер. Затем эта выгода максимизировалась по различным разбиениям пространства значений х на фиксированное количество областей. При рассмотрении количества информации (9.6.1) дискретный характер наблюдаемой величины очевидно, нужно сохранить и рассматривать ту же выгоду (9.6.3), соответствующую разбиению Максимизацию же по различным разбиениям нужно проводить несколько иначе. Именно теперь нужно фиксировать не условие наложенное на число областей, а условие

наложенное на энтропию разбиения Число же областей может быть любым. В остальном формула, определяющая будет

совпадать с (9.2.6):

где минимизация по соответствует условию (9.6.4). Мы видим, что выражение в правой части (9.6.5) совпадает с соответствующими выражениями (9.2.6) и (9.2.6а).

Теорема 9.7. Функция ценности больцмановского количества информации лежит между функциями ценности

Доказательство. Пусть значение, определяемое минимизацией второго члена в (9.6.3). Из (9.6.4) вытекает, что и, следовательно,

Поэтому переходные вероятности входят в множество переходных вероятностей, перебираемых при минимизации в определении (9.3.12). Отсюда

С другой стороны, при минимизации в (9.2.6) перебираются разбиения Для каждого такого разбиения условие (9.6.4) выполняется. Следовательно, класс разбиений, перебираемых в (9.6.5), является более широким, чем в (9.2.6). Отсюда вытекает, что

Доказательство закончено.

Пример. Чтобы проиллюстрировать сказанное выше, вернемся к примеру, рассмотренному в п. 1 § 9.2 и в § 9.5 (пример 1). Будем перебирать всевозможные разбиения множества из 8 точек на связные области Ем (разбиения на области, не состоящие из смежных точек, не являются экстремальными). Для каждого разбиения найдем значение больцмановской информации (9.6.1), где и разность (9.6.3), причем первый член в данном случае равен двум. Найденные таким образом точки откладываем на плоскости (I,V). Далее проводим на ней ступенчатую линию так, чтобы последняя имела максимально низкое и правое положение при условии, что ни одна из точек не лежит выше и левее ее. Это соответствует минимизации по разбиениям, фигурирующей в (9.6.5). Точки, лежащие на указанной ступенчатой линии, относятся к экстремальным разбиениям. Прочие точки отбрасываются как неэкстремальные. Линия изображена на рис. 9.4 (в тех

местах, где она не совпадает с пунктиром. Приведем экстремальные разбиения и соответствующие координаты:

Здесь в верхней строке в скобках для каждого оптимального разбиения указано число смежных точек, входящих в соответственно.

Линия как видно на рис. 9.4, располагается между линиями иногда совпадая с Это полностью согласуется с неравенствами (9.6.6).

В заключение параграфа приведем один просто доказываемый, но важный факт, касающийся всех трех функций ценности информации.

Теорема 9.8. Функции ценности для бейесовской системы инвариантны относительно следующего преобразования функции штрафов.

где любая (измеримая) функция с конечным средним значением.

Для доказательства инвариантности функций нужно учесть, что

и

вследствие чего в разности (9.6.3) члены сокращаются. Для доказательства инвариантности достаточно учесть при

рассмотрении второго члена в (9.3.12) кроме (9.6.9) соотношение

При замене (9.6.7) остается неизменным также оптимальное разбиение или оптимальные переходные вероятности

Все сказанное выше распространяется и на тот случай, когда функция с имеет смысл не штрафов, а поощрений и когда минимизация в (9.6.3) и других формулах должна быть заменена на максимизацию: