ЭНТРОПИЯ

(греч. ev - в и троят) — превращение) — количественная мера неопределенности ситуации. Термин и понятие Э. по-разному вводится и используется в физике (термодинамика) и кибернетике (теория информации).

В физику понятие Э. ввел Р. Клаузиус (1822—88). В дальнейшем понятие Э. широко использовалось в термодинамике, в т. ч. для открытых систем. Течение естественных процессов всегда происходит в сторону увеличения Э. системы. Р. Больцман (1844—1906) дал, в соответствии со статистической трактовкой физ. явлений, выражение для Э. идеального газа через вероятности нахождения молекул в ячейке фазового пространства (-функция Больцмана)

где k — постоянная Больцмана.

В информации теорию Э. ввел амер. математик К. Э. Шеннон (р. 1916). Здесь Э. рассматривается как мера неопределенности случайной величины. Если задано конечное мн-во символов значений случайной величины (сообщений) с распределением вероятностей то Э. 5 (или Э. распределения ) или Э. стационарного источника сообщений на символ) наз. величина

Основание логарифма определяет единицу измерения величины Н. В теории информации принята единица бит, соответствующая величине Н при выбор из двух символов), ЧТО соответствует основанию логарифма 2 в (2). В случае , где — вероятность одного из двух значений случайной величины поведение как ф-ции показано на рис. Величина принимает макс. значение, равное одному биту, при Кривая симметрична относительно

Э. обладает такими свойствами: 1) Н — величина вещественная, неотрицательная; 2) Н зависит от распределения и не зависит от алфавита (содержания сообщений); 3) Н — миним. и равна нулю, если т. е. все значения равны нулю, кроме одного, равного 1; 4) Н — макс. и равна , если все при любой ф-ции для двух случайных величин (случайной пары

где Е — матем. ожидание, условная Э., условное распределение а при фиксированном . Равенство в (3) достигается лишь в случае статистической независимости .

Понятие условной Э. используют в теории информации для определения меры количества информации (или реальной скорости передачи на символ). При этом условная вероятность определяется как вероятность того, что был передан символ , если принят символ Условная Э. оказывается при этом мерой остаточной неопределенности после получения сообщения относительно значения переданного символа Разность (уменьшение Э. за счет передачи, т. е. отрицательная Э. или негэнтропия) служит мерой к-ва информации на символ при передаче сообщения.

Понятие Э. не находит прямого аналога в случае недискретных случайных величин.

В самом деле, для любой недискретной случайной величины легко построить при любом целом дискретную величину являющуюся ф-цией от I так, чтобы принимала различных значений с равными вероятностями, а тогда .

Если теперь определить Э. недискретной случайной величины так, чтобы она обладала осн. свойствами Э. дискретных случайных величин (и даже только одним свойством (5)), то из этого следует, что поскольку при любом должно выполняться требование

При формальном же обобщении для непрерывной случайной величины обладающей плотностью и принимающей значения в измеримом пространстве , приходят к величине

называемой дифференциальной Э. зарубежной литературе величину часто наз. Э. непрерывной величины

Понятие дифф. Э. необходимо при вычислении различных информационных характеристик (напр., таких как информации количество, каналов связи пропускная способность, передачи информации скорость). Но формальное сходство выражений Э. в дискретном случае и дифф. Э. в непрерывном случае часто приводит к тому, что понятию дифф. Э. приписывают физ. смысл неопределенности случайной величины, распределение которой задается плотностью. Такое автоматическое перенесение свойств неправомерно, что видно хотя бы из того, что дифф. Э. некоторых случайных величин может быть отрицательной и даже принимать значения как так и для величины равномерно распределенной на отрезке и поэтому если информации и Э. обладают тем свойством, что они не меняются при взаимнооднозначном отображении пространств значений случайных величин на некоторые другие пространства, т. к. эти величины являются мерами неопределенности случайных величин, независящими от конкретной природы значений случайных величин. Для дифф. Э. это не так. Можно показать, что, если ф-ция задает взаимно-однозначное отображение пространства X значений случайной величины g в некоторое пространство Z, то

где плотность распределения якобиан преобразования. В частности, если преобразование линейно, то

Использование дифф. Э. для вычисления указанных выше информационных характеристик основано на том, что все они являются разностью дифф. Э. соответствующих величин,

а эта разность уже не меняется при взаимнооднозначных отображениях пространств. Если есть -мерная случайная величина, имеющая плотность распределения, а ее дискретизация с шагом то

Т. о., величина при стремится к бесконечности. Это вполне согласуется с тем, что однако медленно, только лишь логарифмически.

Энтропия в случае двух возможностей с вероятностями .

Главный член асимптотического разложения зависит от размерности пространства п. Дифф. Э. задает следующий по порядку член асимптотического разложения, не зависящий от причем только в этом члене проявляется зависимость от конкретного вида распределения случайной величины Только в этом весьма ограниченном смысле дифф. Э. можно трактовать как меру неопределенности случайной величины

Из других свойств дифф. Э. можно отметить, что, если плотность величины отлична от нуля в некоторой области ограниченного объема V, то будет максимальной и равной когда равна константе у в этой области. Дифф. Э. -мерного распределения Гаусса с матрицей ковариации равна в одномерном случае а, где дисперсия. При этом среди всех распределений с фиксированными моментами второго порядка гауссовское распределение обладает макс. дифференциальной Э.

Понятие Э. играет фундаментальную роль в теоремах Шеннона, устанавливающих осн. закономерности оптимального кодирования информации реальных сообщений при передаче их по каналам связи.

Лит.: Хинчин А. Я. Понятие энтропии в теории вероятностей. «Успехи математических наук», 1953, т. 8, в. 3; Гельфанд И. М., Колмогоров А. Н., Яглом А. М. Количество информации и энтропия для непрерывных распределений. В кн.: Труды третьего Всесоюзного математического съезда, т. 3. М., 1958; Шеннон К. Математическая теория связи. В кн.: Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. М., 1963; Шамбадаль П. Развитие и приложения понятия энтропии. Пер. с франц. М., 1967.

Р. Л. Добрушин, Л. И. Ожиганов, В. В. Прелов, О. М. Рякин