20. Энтропия непрерывного распределения

Энтропия дискретного множества вероятностей была определена как

Аналогичным образом определим энтропию непрерывного распределения с функцией плотности распределения как

В случае n-мерного распределения имеем

Если имеются два аргумента х к у (которые сами могут быть многомерными), совместная и условная энтропии даются выражениями

и

где

Энтропия непрерывных распределений обладает большинством свойств (но не всеми) энтропии для дискретных распределений. В частности:

1. Если х ограничено некоторой областью объема в пространстве своих значений, то будет максимальна и равна когда равна константе в этой области.

2. Для двух переменных х, у имеем

причем равенство имеет место тогда и только тогда, когда х и у независимы, т. е. (за исключением, может быть, множества точек, имеющего нулевую вероятность).

3. Рассмотрим обобщенную операцию усреднения следующего типа:

где

Тогда энтропия усредненного распределения больше или, равна энтропии первоначального распределения

4. Имеем

и

5. Пусть — одномерное распределение. Распределение дающее максимальную энтропию при условии, что стандартное отклонение х фиксировано и равно о, является гауссовским. Чтобы показать это, надо максимизировать

при ограничениях

Это сводится, как известно из вариационного исчисления, к максимизации

Условием для этого будет

и, следовательно (подбирая постоянные так, чтобы удовлетворить приведенным выше ограничениям), получим

Аналогичным образом в n-мерном случае предположим, что моменты второго порядка плотности фиксированы и равны

Находим (при помощи аналогичных вычислений), что максимум энтропии имеет место, когда является n-мерным нормальным распределением с моментами второго порядка

6. Энтропия одномерного нормального распределения со стандартным отклонением о равна

Это вычисляется следующим образом:

Аналогичным образом -мерное гауссовское распределение с квадратичной формой задается как

а энтропия равна

где — определитель матрицы с элементами

7. Если распределение х ограничено положительной полуосью для и первый момент х фиксирован и равен а, то

а энтропия будет максимальна при

и этот максимум равен

8. Имеется одно важное различие между энтропией непрерывных и дискретных величин. В дискретном случае энтропия

измеряет абсолютным образом степень случайности значения рассматриваемой случайной величины. В непрерывном случае это измерение производится относительно заданной системы координат. Если изменить координаты, то энтропия, вообще говоря, изменится. Действительно, при переходе к координатам новое значение энтропии задается как

где — якобиан преобразования координат. Разлагая логарифм и заменяя переменные на получим

Таким образом, новое значение энтропии равно старому минус среднее значение логарифма якобиана. В непрерывном случае энтропия может рассматриваться как мера случайности относительно принятого стандарта, а именно выбранной системы координат, в которой каждому малому элементу объема придается одинаковый вес. Когда изменяется система координат, энтропия в новой системе также является мерой случайности, но теперь придается одинаковый вес равным элементам объема в новой системе координат.

Несмотря на зависимость от системы координат, понятие энтропии является столь же важным в непрерывном случае, как и в дискретном. Это объясняется тем, что скорость создания сообщения и пропускная способность канала определяются разностью двух энтропий, а эта разность не зависит от системы координат, так как каждая из этих двух величин изменяется на одно и то же число.

Энтропия непрерывного распределения может быть отрицательна. Масштабом измерений устанавливается произвольный нуль, соответствующий равномерному распределению по единичному объему. Распределение, более сосредоточенное чем это, будет иметь меньшую энтропию и, следовательно, будет отрицательно. Однако скорость создания сообщения и пропускная способность канала всегда будут неотрицательны.

9. Частным случаем изменения координат является линейное преобразование

В этом случае якобиан равен просто определителю и

В случае поворота координат (или любого сохраняющего меру преобразования)