9.1. Уменьшение средних штрафов при уменьшении неопределенности

Польза, приносимая информацией, заключается в том, что она позволяет уменьшить потери, связанные со средними штрафами. Предполагается, что в условии задачи указана функция штрафов, которая по-разному штрафует различные действия и решения, принимаемые действующим лицом. За более удачные действия назначаются меньшие штрафы или большие награды, чем за менее удачные. Цель заключается в минимизации средних штрафов. Имеющаяся в распоряжении информация позволяет добиться меньшего уровня средних потерь.

Прежде чем переходить к математической формулировке сказанного, рассмотрим в этом параграфе, носящем подготовительный характер, более простую задачу (типа первой вариационной задачи), иллюстрирующую тот факт, что высокая неопределенность в системе (негинформация), действительно, повышает уровень потерь.

Пусть имеется система с дискретными возможными состояниями. В действительности осуществляется одно из возможных состояний и величина описывающая состояние, принимает одно определенное значение. Пусть в соответствии с назначением системы указана функция штрафа с Если, например, требуется, чтобы система придерживалась вблизи нулевого состояния (задача стабилизации), то может быть взята, скажем, функция штрафа с

По каким-либо причинам пусть в данной задаче невозможно обеспечить идеальное равенство Например, вследствие неизбежных флюктуаций в составных частях системы, в ней присутствует статистический разброс, т. е. имеет место неопределенность — негинформация. При этом величина будет случайной и будет описываться некоторыми вероятностями Мерой неопределенности, как известно, является энтропия

Будем предполагать, что количество неопределенности зафиксировано, и рассмотрим, какие при этом возможны средние штрафы

Существует некоторый нижний предел для этих штрафов, который может быть найден теми же методами, что и в § 3.2, 3.3,

3.6. В самом деле, там уже решалась задача на экстремум средних штрафов при условии фиксированной энтропии (первая экстремальная задача). Напомним решение этой задачи. Оптимальное распределение вероятностей имеет вид

где

[см. (3.3.5)]. Параметр определяется из условия фиксированной энтропии (9.1.1). Согласно (3.3.15) имеем

После определения параметра (3 или Т минимальные средние штрафы определяются по формуле

Указанные формулы позволяют проследить, как минимальные средние штрафы зависят от неопределенности в системе. Согласно теореме 3.4 потери при возрастают с ростом энтропии Пусть теперь имеется приток информации, уменьшающий энтропию согласно (1.1.2). Если сначала в системе была негинформация и вследствие притока информации I она уменьшилась до величины — то, очевидно, это привело к уменьшению потерь

Указанная разность говорит о той пользе, которую принесла информация Она есть количественная мера ценности информации.

Будем предполагать малой величиной. Тогда из (9.1.6) будем иметь

Таким образом, производную можно считать дифференциальной ценностью уменьшения энтропии (дифференциальной ценностью информации).

Пример 1. Пусть может принимать целые значения а штрафом служит функция с Обозначая находим для этой задачи статистическую сумму

Следовательно,

Принимая во внимание формулу находим энтропию

Это уравнение позволяет определить и, следовательно, параметры Используя выражения (9.1.8), (9.1.9), дающие параметрическое представление зависимости нетрудно построить график этой зависимости.

Рис. 9.1. Средние потери и дифференциальная ценность информации как функции от энтропии (пример 1).

Используя (9.1.9), нетрудно найти и дифференциальную ценность

Поведение функции и дифференциальной ценности представлено на рис. 9.1.

Пример 2. Предположим, что принимает одно из 8 значений —3, —2, —1, 0, 1,2, 3, 4, а функция штрафа с такая же, что и раньше. Тогда

и поэтому

Вместо формулы (9.1.9) теперь получаем

Зависимость от соответствующая формулам (9.1.11), (9.1.12), представлена на рис. 9.2. Нулевой энтропии соответствуют значения:

Рис. 9.2. Средние потери для примера 2 (Н в битах).

С ростом температуры Т энтропия и потери монотонно возрастают. В пределе мы имеем максимально возможную энтропию

и средние потери

которые соответствуют равномерному распределению

Как было отмечено, уменьшение неопределенности в системе может быть достигнуто приобретением информации. При этом количество информации мыслилось просто как разность двух энтропий одной переменной Между тем, согласно сказанному в гл. 6, количество информации является более сложным понятием, предполагающим существование двух случайных величин х, у (а не одной Должна быть случайная величина х, о которой передается информация, и случайная величина у, которая несет эту информацию. Это заставляет усложнить приведенные в настоящем параграфе рассуждения, перейдя от простой (первой) вариационной задачи к усложненной вариационной задаче, которую будем называть третьей вариационной задачей теории информации.