9.2. Ценность хартлиевского количества информации. Пример

1. Рассмотрим следующий пример, близкий к примерам предыдущего параграфа. Пусть х есть внутренняя координата системы, принимающая значения —3, —2, —1, 0, 1, 2, 3, 4, а и является оценочной переменной, выбираемой из тех же значений, подобно переменной примера 2 предыдущего параграфа.

Будем считать, что указанные восемь точек расположены по кругу (рис. 9.3). Желательно, чтобы оценочная переменная и была как можно ближе к внутренней переменной х.

Рис. 9.3. Вид функции штрафов для рассматриваемого примера.

Это описывается, например, введением функции штрафа

Последняя изображена на рис. 9.3 и обладает симметрией относительно отражения и поворота системы восьми точек на угол

Априори переменную х будем считать равномерно распределенной: Если мы не получаем никаких сведений о значении х, то мы в качестве и можем взять наугад любое значение, скажем 3. Нетрудно подсчитать, что при этом будет иметь место средний штраф

Уменьшить средний штраф можно только путем предварительного уточнения переменной х, то есть путем приобретения информации. Пусть, скажем, количество информации ограничено 1 битом. Мы узнаем, что осуществляется какая-то одна возможность из двух, например х, принадлежит или не принадлежит некоторому подмножеству исходного множества Е восьми точек. Обозначим это сообщение Приняв сообщение, что мы, естественно, выберем и из Аналогично выберем и из остального множества если узнаем, что х не принадлежит Такой выбор

можно сделать оптимальным образом, выбрав то значение и, которое минимизирует выражение

Способ разбиения восьми точек на две части также можно выбрать оптимальным, т. е. таким, который дает наименьшие средние потери

Как нетрудно проверить, наилучшим способом разбиения является разбиение круга из восьми точек на два одинаковых полукруга по четыре точки в каждом.

Рис. 9.4. Значения ценности информации для одного примера.

Внутри каждого полукруга целесообразно выбрать любую из двух внутренних точек. Такой выбор приводит к средним штрафам

Таким образом, в оптимальном случае 1 бит информации приносит ту пользу, что уменьшает средние потери с двух до единицы. Следовательно, ценность 1 бита информации равна единице: если описанную ценность обозначить через

Аналогичное рассмотрение можно провести и для 2 битов информации. Теперь уже множество Е разбивается на четыре части, лучше всего на четыре пары соседних точек. Узнав, в какой паре находится х, выбираем в качестве и любую точку из этой пары. С вероятностью V, она совпадает с х, и с вероятностью она отличается от х на единицу. Средний штраф оказывается равным

Следовательно, информация уменьшила потери с 2 до Ценность 2 битов информации оказалась равной

Приняв информацию в 3 бита, мы можем точно узнать значение х и положить после чего штраф обратится в нуль. Следовательно, ценность битов информации равна в данной модели двум: Указанные выше значения ценности соответствуют точкам на рис. 9.4.

Если равняется трем, то следует производить разбиение восьми точек на три области: Для каждого из таких разбиений нужно подсчитать выгоду и выбрать оптимальное разбиение. Подсчет показывает, что оптимальным является разбиение, в котором состоит из двух точек, а и из трех. Ему соответствует выгода 1,375. Полученная точка откладывается на плоскости (точка на рис. 9.4). Аналогично строятся и точки, соответствующие Перечислим оптимальные разбиения и соответствующие им координаты:

Значениям и соответствуют два равнокачественных оптимальных разбиения. Найденные точки соответствующие оптимальным разбиениям, соединяются ступенчатой линией (рис. 9.4), изображающей ценность хартлиевской информации.

Из сказанного ясно, что ценность информации определяется как максимально возможное уменьшение средних штрафов, которого можно добиться, получив данное количество информации, касающейся принадлежности величины некоторой области из ограниченного числа областей максимальное целое число, содержащееся в

2. Описанный выше способ определения ценности информации можно распространить на общий случай. Предполагается, что задана случайная величина х и функция штрафов с как функция от двух переменных: от значения х и от оценки и.

Лицо, выбирающее оценку или управление и, получает предварительно некоторую информацию о значении х. Принимаемое им сообщение ограничено М значениями, где М — целое число, другими словами, оно должно иметь вид одного из М высказываний. Таким образом, количество получаемой информации является ограниченным, оно равно хартлиевскому количеству информации (см. § 1.1).

Обозначим через величину, наблюдаемую действующим лицом. Согласно сказанному выше она принимает одно из М значений. После наблюдения действующее лицо, естественно, выбирает оптимальную оценку минимизирующую условные средние штрафы. Она определяется равенством

Каждому значению можно сопоставить тем самым одно оптимальное значение Поэтому функция подобно будет функцией не более чем с М значениями.

Усредняя условные средние штрафы (9.2.2), получаем полные средние штрафы

Если никакой информации о значении неизвестной случайной величины х не поступает, то при выборе оптимальной оценки и не остается ничего другого, как минимизировать по и средние штрафы что дает уровень потерь

Здесь т. е. по и усреднение не производится. Пользу, приносимую информацией, естественно связать с разностью потерь (9.2.3) и (9.2.4).

Определим ценность информации как максимальную выгоду, которую можно получить от хартлиевского количества информации

Здесь помимо минимизации по и производится минимизация по всевозможным функциям значениями.

Теорема 9. 1. При минимизации (9.2.5) по всевозможным функциям значениями можно ограничиться лишь нерандомизированными зависимостями у от х, т. е. включение в рассмотрение случайных зависимостей (когда у случайно при фиксированном не изменяет экстремума.

Для нерандомизированных зависимостей наблюдение конкретного значения и М. значений ум эквивалентно указанию области (из М взаимно исключающих областей в которой находится х. Минимизация по в (9.2.5) сведется тогда к минимизации

по всевозможным разбиениям пространства X значений х на области при Подробнее (9.2.6) записывается так:

Доказательство теоремы 9.1. Пусть зависит от х рандомизированным образом и пробегает значения Это значит, что при фиксированном х величина у является случайной и описывается некоторым распределением вероятностей Пусть — оптимальное решающее правило для указанной зависимости, определяемое из (9.2.2). Запишем для него потери (9.2.3)

Построим новую, уже не рандомизированную зависимость следующим образом. Пусть при фиксированном х значение есть то значение у (из ), которое минимизирует функцию с Тогда

и в силу (9.2.7)

Сумму, стоящую справа, можно записать

где индекс отмечает нерандомизированный случай. Очевидно, что

Поэтому

Выражение, стоящее справа, обозначаем через Сопоставление неравенств (9.2.8), (9.2.9) доказывает, что

т. е. нерандомизированная зависимость не хуже с точки зрения величины средних штрафов рандомизированной зависимости Доказательство закончено.

3. Из приведенного выше определения немедленно следует одно простое применение понятия ценности хартлиевского количества информации, а именно применение к конструированию измерительно-передающей системы, содержащей информационное ограничение.

Рис. 9.5. Система передачи максимально ценной информации. Канал без помех. ИУ - измерительное устройство.

Пусть имеется измерительное устройство (ИУ) (рис. 9.5), выходной сигнал х которого совпадает со значением измеряемой величины, скажем непрерывной. Точное значение х, однако, не может быть сообщено потребителю, так как на пути стоит канал без помех с ограниченной пропускной способностью или записывающее устройство ограниченной информационной емкости, так что значение у может принимать лишь одно из значений. Целью является получение значений и, «наиболее близких» к х в смысле функции штрафов с Требуется сконструировать такие блоки 1 и 2, помеченные на рис. 9.5 знаком вопроса, которые давали бы минимальные средние штрафы. Поскольку общее количество информации ограничено, через канал нужно передавать наиболее ценную информацию.

Принимая во внимание определение ценности хартлиевского количества информации, легко понять, как решается данная задача. Блок 1 должен осуществлять разбиение пространства значений х на оптимальные области Ем, которые фигурируют в (9.2.6), и выдавать номер области, т. е. Блок 2 должен после получения одного из возможных сигналов выдавать значение при котором обращается в минимум условное математическое ожидание

Сказанное в основном справедливо и в том случае, когда в канале имеются помехи, т. е. когда его выходной сигнал у не обязан совпадать с входным у. Этот случай асимптотически сводится к предыдущему, если систему заставлять работать многократно, заменив х на и — на достаточно больше), и воспользоваться теоремой Шеннона об асимптотической безошибочности декодирования. При этом, как показано на рис. 9.6,

потребуется поставить на входе канала кодировщик канала , а на выходе — декодировщик канала работа которых определяется по теории оптимального кодирования и декодирования (гл. 7). Структура же блоков 1 и 2 такая же, что и на рис. 9.5.

Рассмотренный выше способ определения ценности информации имеет ряд недостатков. Во-первых, он определяет ценность информации лишь для целого числа Остается неясным вопрос, какую пользу приносит дробная часть величины Во-вторых, если в рассмотренном примере менять число точек, беря, скажем, 9, 10 и т. д. точек, то ценность информации будет испытывать нерегулярные скачки.

Рис. 9.6. Система передачи максимально ценной информации. Канал с помехами. кодировщик канала; декодировщик канала;

В-третьих, хартлиевское количество информации являющееся аргументом функции не имеет характера разности двух энтропий, как это было, скажем, в § 9.1. Поэтому приведенное здесь определение плохо согласуется с идеями § 9.1. Согласование будет лучшим, если в качестве аргумента взять шенновское количество информации поскольку оно равно разности энтропий до сообщения и после сообщения.

Определение ценности информации, даваемое ниже, имеет черты обоих приведенных выше определений (§ 9.1 и 9.2).