9.5. Решение вариационной задачи при некоторых дополнительных предположениях

1. Приведем решение третьей вариационной задачи в более явном виде для двух частных случаев. Обозначив

запишем уравнение (9.4.22) в форме

Предположим сначала, что это уравнение допускает решение относительно неизвестной функции как система линейных уравнений, или линейное интегральное уравнение. Другими словами, существует преобразование

обратное преобразованию

т. е.

Тогда из (9.5.2) будем иметь

и, если учесть (9.5.1),

Усреднение с весом дает выражение для потенциала

Используя (9.4.28), (9.4.29), отсюда получаем зависимость между в параметрической форме

В последней формуле вычитаемое выражение в правой части, очевидно, имеет смысл условной энтропии .

Если ввести функцию

и ее преобразование Лежандра

то полученные результаты (9.5.5), (9.5.6) можно записать в следующей компактной форме:

2. Сделаем теперь другое предположение, а именно предположим, что функция является постоянной в области Вынося за знак суммы, в этом случае из (9.5.2) будем иметь

Сумма в левой части равенства напоминает статистическую сумму (3.3.11), (3.6.2), вводимую при решении первой вариационной задачи. В принятых предположениях эта сумма не должна зависеть от и. По аналогии с (9.1.3) обозначим

Тогда и из (9.5.1) получаем

и (после усреднения)

Как указывалось в предыдущем параграфе, функция может быть получена преобразованием Лежандра

функции

Кроме вспомогательной функции удобно ввести ее преобразование Лежандра

в полной аналогии с формулами (9.1.4), (9.1.5). Тогда преобразование Лежандра (9.5.11) функции (9.5.12) запишется так:

т. е.

в силу (9.5.13). Формула (9.5.14) согласуется с (9.5.7), поскольку функция является обратной к функции Образуя функцию ценности информации

получаем формулу

вполне аналогичную формуле (9.1.6). Энтропия очевидно, имеет смысл условной энтропии

Таким образом, в рассматриваемом случае развитая теория ценности информации полностью подтверждает предварительные соображения, изложенные в § 9.1, в которых информация рассматривалась просто как разность двух энтропий, а не как шенноновское количество информации, связывающее две случайные величины. В рассматриваемом случае вследствие (9.4.21), (9.5.1) и соотношения экстремальное распределение имеет вид

Ему, очевидно, соответствуют условные вероятности

вид которых напоминает выражение (9.1.2).

Рассмотрим примеры, тесно связанные с примерами, которые были изучены в § 9.1 и 9.2.

Пример 1. Пусть имеется бейесовская система, описанная в начале § 9.2. Для нее была подсчитана ценность хартлиевского количества информации. Найдем для сравнения ценность шенноновского количества информации.

Запишем для данного примера уравнение (9.5.2), учитывая, что функция с зависит лишь от разности х — и. Это уравнение принимает вид

Это уравнение имеет решение, когда в качестве активной области выбрана вся область состоящая из восьми точек. Решение соответствует тривиальной, т. е. постоянной функции Статистическая сумма (9.5.8)

не зависит от и и совпадает с суммой (9.1.10). Зависимость представлена параметрически выражениями (9.1.11), (9.1.12). Она изображена на рис. 9.2.

Равномерное распределение соответствует энтропии Поэтому из формулы (9.5.14) имеем а функция ценности шенноновского количества информации имеет вид Эта функция представлена графически на рис. 9.4. Данная кривая является не чем иным, как перевернутой кривой рис. 9.2.

Ступенчатой линией (рис. 9.4) изображены те значения ценности хартлиевской информации, которые были найдены в § 9.2. Она лежит ниже основной кривой Так ценность одного бита информации, как видно из графика, равна 1,35, что превосходит значение 1, найденное по теории § 9.2. Аналогично ценность двух битов информации равна 1,78 и больше ранее найденного значения 1,5.

Для любого другого числа точек, располагающихся по кругу, ценность шенноновской информации может быть найдена совершенно аналогичным образом, причем будут наблюдаться монотонные зависимости без каких-либо нерегулярных скачков.

В данном примере отчетливо видна разница между ценностью хартлиевского и шенноновского количества информации. Как видно из дальнейшего (гл. 11) в некоторых более сложных случаях это различие стирается, например, если рассматривать не пару описанных выше случайных величин х, и, а последовательности подобных величин при больших

Пример 2. Рассмотрим пример, в котором имеется пространство из бесконечного числа точек.

Пусть могут принимать любые целые значения —1, 0, 1, 2, подобно переменной в примере 1 § 9.1. Возьмем простую функцию штрафов

и априорные вероятности

В отличие от предыдущего примера априорное распределение является неравномерным. Уравнение (9.5.2), записываемое в виде

имеет в качестве решения константу

где функция от , подсчитанная в (9.1.7). Исключением параметра из выражения (9.1.8), (9.1.9) может быть найдена зависимость Для вычисления функции ценности информации по формуле (9.5.15) остается найти энтропию априорного распределения (9.5.16). По аналогии с (9.1.9) нетрудно получить

Итак, в данном примере так же, как и в предыдущем, функция ценности (9.5.15) может быть подсчитана при помощи функции найденной в § 9.1 (пример 1) и изображенной на рис. 9.1.

Вид вероятностей а также экстремального распределения теперь находится более сложно, чем в предыдущем примере, когда распределение подобно было равномерным. Теперь для отыскания необходимо решить уравнение (9.4.23). Поскольку в силу (9.5.1), (9.5.16)

это уравнение принимает вид

Данное уравнение допускает точное решение. Умножая обе части на и суммируя по х, получаем

но

и, следовательно,

Совершая преобразование

и еще раз пользуясь формулой (9.5.17), получаем искомые вероятности

Теперь в соответствии с (9.4.21) нетрудно подсчитать и вероятности совместного распределения

что дает полное решение экстремальной задачи.