9.3. Определение ценности шенноновского количества информации и а-информации

Как и в предыдущего параграфа, будем считать, что задана случайная величина х, описываемая распределением и (измеримая) функция штрафов с от х к от оценки и. Значения являются точками заданных измеримых пространств соответственно. Тем самым задана система которую будем называть бейесовской системой.

Для любого условного распределения можно вычислить средние штрафы или риск

и шенноновское количество информации

Сформулируем следующую третью экстремальную задачу. Назовем условное распределение экстремальным, если оно обращает в экстремум средние штрафы (9.3.1) при фиксированном значении количества информации (9.3.2):

где независимо задаваемое число. Как показывает анализ, это же распределение обращает в экстремум, а именно в минимум, информацию при фиксированных средних штрафах:

Средние штрафы (риск) (9.3.1) экстремального распределения будем обозначать буквой Вследствие условия (9.3.3) они являются функцией от

Наряду с можно рассматривать и обратную зависимость Значение называем информацией, соответствующей уровню потерь а или, коротко, -информацией. Как видно из последующего (теорема 9.6), функция является вогнутой (рис. 9.7). Поэтому функция является, вообще говоря, двузначной. В общем случае функция принимает минимальное значение, равное нулю, на некотором интервале

Функцию обратную функции назовем нормальной ветвью, а функцию обратную к аномальной, ввтвью. Для нормяльной ветви определяем ценность шенноновской информации

Для аномальной ветви ценность информации определяем формулой

При таком определении ценность информации всегда является неотрицательной. В конкретных случаях та или иная ветвь может уйти в бесконечность, т. е. отсутствовать.

Чтобы пояснить смысл определений (9.3.7), (9.3.8), рассмотрим сначала, что представляет собой Диапазон (9.3.6)

соответствует нулевой информации связи Это значит, что для него в (9.3.5) распределение не зависит от х, так что

где Отсюда видно, что, меняя мы можем получить диапазон изменения :

Рис. 9.7. Типичный ход зависимости

Сравнивая его с (9.3.6), получаем

Далее, как будет видно из теоремы 9.3 (см. § 9.4. п. 2), нормальная ветвь соответствует минимальным штрафам

а аномальная — максимальным

при выполнении условия (9.3.3). Поэтому формулу (9.3.7) можно записать так:

где множество определяется условием

Сравнивая (9.3.13) с (9.2.5), замечаем аналогию этих двух определений ценности информации. В обоих случаях имеет смысл максимально возможного (при условии фиксированного количества I) уменьшения средних штрафов.

Формула же (9.3.8) в силу (9.3.9), (9.3.11) принимает вид

При этом функцию с следует интерпретировать не как штрафы, а как поощрения (выигрыши). Ценность информации имеет смысл максимально возможного среднего выигрыша, даваемого заданным количеством информации Разумеется, нетрудно записать и соответствующий этому случаю вариант определения ценности хартлиевской информации. Вместо формулы (9.2.5) будем иметь

Таким образом, теории ценности информации свойственна естественная симметрия относительно замены операций минимизации и максимизации, что соответствует замене знака у функции с Коснемся вопроса о диапазоне изменения функции или, что то же, функции ценности Нулевому количеству информации, как уже отмечалось, соответствует интервал (9.3.6). Если количество информации, напротив, устремить к максимальному (конечному или бесконечному) значению, то будем иметь совершенно точное значение величины х. Оптимальную оценку при этом можно получить непосредственно минимизацией штрафов с При усреднении получим нижнее предельное значение

Аналогично для аномальной ветви максимизацией штрафов с и усреднением получаем верхнее предельное значение

Таким образом, функция лежит в диапазоне

Соответственно этому функция ценности лежит в диапазоне (нормальная ветвь) и в диапазоне (аномальная ветвь).

Непосредственно из определения (9.3.12), (9.3.13) ценности шенноновского количества информации вытекают следствия, связывающие теорию ценности информации с теорией оптимальных статистических решений. Приведем следующий несложно доказываемый результат.

Теорема 9.2. Пусть заданы бейесовская система с и наблюдаемая функция описываемая условным распределением Каков бы ни был решающий алгоритм (рандомизированный или нерандомизированный), уровень потерь удовлетворяет неравенству

Доказательство. Нетрудно видеть, что каков бы ни был решающий алгоритм количество информации о неизвестном значении х не может увеличиться при вынесении оценки, т. е. выполняется неравенство

Из определения (9.3.12), (9.3.13) имеем

поскольку распределение

относится к множеству распределений, перебираемых при минимизации Зависимость как указывалось выше, является неубывающей. Поэтому из (9.3.18), (9.3.19) получаем (9.3.17). Доказательство закончено.

Приведенная теорема свидетельствует о плодотворности введенного понятия ценности информации. Вопрос о том, как фактически достигать предельно малых средних штрафов, указываемых теорией ценности информации, будет разбираться в гл. 11.

Понятие информации, соответствующей заданному уровню потерь, было введено (под названием скорости создания сообщений) Шенноном [1] и (под названием -энтропии или -энтропии) Колмогоровым [1], а понятие ценности информации — Стратоновичем [3].

Количества ценности хартлиевского и шенноновского количеств информации не совпадают, причем из их определения следует неравенство Важным асимптотическим результатом теории информации является их количественное совпадение в асимптотическом смысле (гл. 11). Этот результат по глубине и важности можно сравнить с рассмотренным в гл. 7 другим асимптотическим результатом — с асимптотической безошибочностью передачи сообщений по каналу с помехами.