Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике ДЛЯ СТУДЕНТОВ И ШКОЛЬНИКОВ ЕСТЬ
ZADANIA.TO
§ 2. Представление об энтропииРассмотрим теперь более общий случай, когда имеются N исчерпывающих, взаимно исключающих и равновероятных случаев, и из них
и вообще для моментов любого порядка
Из выражений типа
Кроме
в битах. Основание 2 здесь выбрано потому, что вычисления обычно проводятся в двоичных единицах (битах). Среднее значение этой величины для большой последовательной выборки также определяется как среднее взвешенпое с весовым множителем, равным частоте появления
Методом множителей Лагранжа и с учетом условия
Фиг. Б.1. Если с достаточной определенностью может встретиться только одно событие
На фиг. Б.1 представлена схема для основной задачи теории связи [2]. Посылается сообщение х, содержащее последовательность i символов, а в принимаемом сообщении содержится последовательность вероятности условные вероятности: вероятность совместного события
С каждой из этих вероятностей мы связываем следующие величины: энтропии
условные энтропии
и энтропию совместного события
которые удовлетворяют уравнениям
или неравенству
причем равенство справедливо в том случае, когда х и у статистически независимы. Предположим теперь, что посылается один символ i и принимается один символ
С точки зрения отправителя
тогда как с точки зрения получателя
Но из выражения
или по всем входным и выходным символам:
После несложных преобразований это выражение приводится к следующему виду:
с точки зрения получателя или
с точки зрения отправителя.
Фиг. Б.2. Если использовать величины начальной
так что увеличение информации В качестве иллюстрации сказанного рассмотрим пример с двумя урнами (фиг. Б.2). В первой урне содержится 10 белых шаров и 2 черных шара, а во второй — 2 белых шара и 10 черных. Из первой урны вынимается шар неизвестного цвета и кладется во вторую урну, содержимое которой затем перемешивается. Затем вынимается шар из второй урны и отмечается его цвет. После этого наблюдатель восстанавливает первоначальное состояние его в урну 2, а — то же самое для черного шара. Это - «посланное сообщение». Пусть (см. скан) Отсюда
Энтропия в случае непрерывного сигнала. Для непрерывных распределений вероятности также можно определить энтропию, условную энтропию и энтропию совместного события следующим образом:
Мы уже видели в случае дискретного распределения вероятности, что пределы, достигаемые
Пользуясь опять методом множителей Лагранжа и полагая
где
|
1 |
Оглавление
|