его воспроизведения. Э. с. 
при заданных условиях точности воспроизведения сообщения 
число 
где 
сообщение, вырабатываемое источником сообщений, 
воспроизводимое сообщение, 
информации количество, содержащееся в 
относительно 
Нижняя грань в 
берется по всевозможным парам случайных величин 
удовлетворяющих заданным условиям точности W воспроизведения сообщения. В наиболее важном частном случае, когда условия точности W задают с помощью ф-ции потерь 
и они состоят в требовании, чтобы математическое ожидание макс. или 
потери не превосходило некоторой константы 
обозначают 
и называют 
-энтропией (эпсилон-энтропией) сообщения (в амер. литературе 
-энтропию часто наз. скоростью создания сообщения при заданной точности 
). Вычисление Э. с. 
при заданных условиях точности W является трудной матем. задачей, явное решение которой в общем случае получить не удается. Для частных случаев источников сообщений (при некоторых спец. способах задания ф-ции потерь 
удается точно вычислить 
-энтропию. Напр., для дискретных источников, вырабатывающих сообщения раз в единицу времени, 
-энтропию Не на единицу времени определяют как 
где 
соответственно сообщение, вырабатываемое источником, и воспроизводимое сообщение, а нижняя грань берется по всевозможным парам 
при всех к, удовлетворяющих неравенству 
.
Для дискретного стационарного источника с независимыми компонентами 
и равновероятными значениями (т. е. для случая, когда каждая компонента сообщения 
может принимать любое из М возможных значении с одинаковыми вероятностями — эпсилон-энтропия
При 
ф-ция 
принимает макс. значение 
(совпадающее с обычной энтропией любой из случайных величин 
) и, монотонно убывая с ростом 
, обращается в нуль при 
Для дискретного стационарного гауссовского источника 
при среднеквадратическом критерии точности 
эпсилон-энтропия к
где 
— спектральная плотность стационарной гауссовской последовательности 
корень ур-ния
В связи с тем, что точно вычислить 
-энтропию довольно трудно, существенный интерес представляет и получение асимптотических 
для нее при 
т. к. случай малого s соответствует большой точности воспроизведения. Напр., сов. математик А. Н. Колмогоров (р. 1903) предложил 
для 
-энтропии 
случайной величины 
с достаточно гладкой плотностью распределения 
при среднеквадратичном критерии точности
Эта ф-ла имеет вид
где 
дифф. энтропия 
при 
. Для пуассоновского процесса на отрезке 
с параметром X эпсилон-энтропию 
при 
задают выражением
причем условия точности задают требованием 
где
а
P. Л. Добрушин, В. В. Прелое.
