Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
9.5. Решение вариационной задачи при некоторых дополнительных предположениях1. Приведем решение третьей вариационной задачи в более явном виде для двух частных случаев. Обозначив
запишем уравнение (9.4.22) в форме
Предположим сначала, что это уравнение допускает решение относительно неизвестной функции
обратное преобразованию
т. е.
Тогда из (9.5.2) будем иметь
и, если учесть (9.5.1),
Усреднение с весом
Используя (9.4.28), (9.4.29), отсюда получаем зависимость между
В последней формуле вычитаемое выражение в правой части, очевидно, имеет смысл условной энтропии Если ввести функцию
и ее преобразование Лежандра
то полученные результаты (9.5.5), (9.5.6) можно записать в следующей компактной форме:
2. Сделаем теперь другое предположение, а именно предположим, что функция
Сумма в левой части равенства напоминает статистическую сумму (3.3.11), (3.6.2), вводимую при решении первой вариационной задачи. В принятых предположениях эта сумма не должна зависеть от и. По аналогии с (9.1.3) обозначим
Тогда
и (после усреднения)
Как указывалось в предыдущем параграфе, функция
функции
Кроме вспомогательной функции
в полной аналогии с формулами (9.1.4), (9.1.5). Тогда преобразование Лежандра (9.5.11) функции (9.5.12) запишется так:
т. е.
в силу (9.5.13). Формула (9.5.14) согласуется с (9.5.7), поскольку функция
получаем формулу
вполне аналогичную формуле (9.1.6). Энтропия Таким образом, в рассматриваемом случае развитая теория ценности информации полностью подтверждает предварительные соображения, изложенные в § 9.1, в которых информация рассматривалась просто как разность двух энтропий, а не как шенноновское количество информации, связывающее две случайные величины. В рассматриваемом случае вследствие (9.4.21), (9.5.1) и соотношения
Ему, очевидно, соответствуют условные вероятности
вид которых напоминает выражение (9.1.2). Рассмотрим примеры, тесно связанные с примерами, которые были изучены в § 9.1 и 9.2. Пример 1. Пусть имеется бейесовская система, описанная в начале § 9.2. Для нее была подсчитана ценность хартлиевского количества информации. Найдем для сравнения ценность шенноновского количества информации. Запишем для данного примера уравнение (9.5.2), учитывая, что функция с
Это уравнение имеет решение, когда в качестве активной области выбрана вся область
не зависит от и и совпадает с суммой (9.1.10). Зависимость Равномерное распределение Ступенчатой линией (рис. 9.4) изображены те значения ценности хартлиевской информации, которые были найдены в § 9.2. Она лежит ниже основной кривой Для любого другого числа точек, располагающихся по кругу, ценность шенноновской информации может быть найдена совершенно аналогичным образом, причем будут наблюдаться монотонные зависимости без каких-либо нерегулярных скачков. В данном примере отчетливо видна разница между ценностью хартлиевского и шенноновского количества информации. Как видно из дальнейшего (гл. 11) в некоторых более сложных случаях это различие стирается, например, если рассматривать не пару описанных выше случайных величин х, и, а последовательности Пример 2. Рассмотрим пример, в котором имеется пространство из бесконечного числа точек. Пусть
и априорные вероятности
В отличие от предыдущего примера априорное распределение является неравномерным. Уравнение (9.5.2), записываемое в виде
имеет в качестве решения константу
где
Итак, в данном примере так же, как и в предыдущем, функция ценности (9.5.15) может быть подсчитана при помощи функции Вид вероятностей
это уравнение принимает вид
Данное уравнение допускает точное решение. Умножая обе части на
но
и, следовательно,
Совершая преобразование
и еще раз пользуясь формулой (9.5.17), получаем искомые вероятности
Теперь в соответствии с (9.4.21) нетрудно подсчитать и вероятности совместного распределения
что дает полное решение экстремальной задачи.
|
1 |
Оглавление
|