Пред.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
10. Энтропия «как мера разбросаТеория распределений вероятностей, бегло изложенная в §§ 3—9, применима в тех случаях, когда мы имеем дело с случайными явлениями, которые могут быть выражены численно. Шумовое напряжение, например, может быть описано численно и лишь поэтому, говоря о нем, можно использовать такие понятия, как среднее значение, дисперсия и т. д. Если мы имеем дело с признаками, которые являются только качественными, то не существует математических функций от них в обычном смысле. Например, если мы в качестве признака возьмем принадлежность произвольно выбранного лица к той или иной политической партии, тогда разным партиям можно приписать вероятности, но не будет никакого смысла говорить о средней партии, о дисперсии, о сумме двух независимых испытаний. И все же может существовать необходимость выразить численно разнообразие признаков. Совершенно ясно, что мера разнообразия должна быть функцией одних лишь вероятностей, а не самих признаков. Многие функции вероятностей могут быть предложены в качестве меры разнообразия или беспорядочности, но одна из них имеет особенно большое значение в физике, а также в настоящее время в теории связи. Допустим для начала, что дискретное распределение охватывает разнообразия, очевидно, растет с ростом Если мы имеем множество
а отсюда ее среднее значение на одно испытание
Это выражение можно назвать энтропией распределения вероятностей Выражение (78) не может быть непосредственно применено к непрерывному распределению
по всем элементам Однако, если зафиксировать
Энтропия распределения
Произвольный выбор величины Отметим, что при переходе к непрерывным распределениям признаки по необходимости сделались численными. Темчне менее энтропия сохранила свое характерное свойство — независимость от действительных значений признаков. Значение интеграла (81) не зависит от того, какому именно значению х соответствует то или иное частное значение Как уже было отмечено, важным свойством энтропии является ее аддитивность для независимых величин. Это можно проверить с помощью теоремы умножения; в общем случае имеем
Можно установить правила действия над энтропией, похожие на правила действия над вероятностями; везде, где встречаются произведения вероятностей, мы находим суммы энтропий.
Рис. 7. Примеры преобразования, оставляющего неизменной энтропию. Наиболее интересная математическая задача заключается в том, чтобы, наложив некоторые произвольные ограничения на неизвестное распределение
при добавочных требованиях
Обычный способ заключается в том, что образуется выражение
где
откуда
Наконец, используя условия (83), определяем
Подставляя (87) в (81), получаем энтропию
Таким образом, при заданном среднем квадрате х, гауссово распределение является наиболее беспорядочным из всех.
|
1 |
Оглавление
|