3.6. Пропускная способность канала без шумов со штрафами в обобщенной версии
1. В § 3.2, 3.3 рассматривалась пропускная способность дискретного канала без шумов, но со штрафами. Как указывалось, ее вычисление сводится к решению первой вариационной задачи теории информации. Приведенные там результаты могут быть обобщены на случай произвольных случайных величин, могущих принимать, в частности, непрерывные значения. Некоторые относящиеся к обобщенной версии формулы, приведенные в § 1.6, подсказывают, как это сделать.
Будем считать, что задан канал без шумов (необязательно дискретный), если задано измеримое пространство (
значения из которого может принимать величина 
и 
— измеримая функция 
, называемая функцией штрафов, а также мера 
на (
(нормировка которой не требуется). Для уровня потерь а определяем пропускную способность 
как максимальное значение энтропии (1.6.9):
совместимое с условием
Данная вариационная задача решается в принципе так же, как это делалось в § 3.3, частные производные при этом заменяются вариационными производными. После вариационного дифференцирования по 
вместо (3.3.4) будем иметь условие экстремума
где 
.
Отсюда получаем экстремальное распределение
Усредняя (3.6.3) и учитывая (3.6.1), (3.6.2), находим
Последняя формула совпадает с равенством (3.3.13) дискретной версии. Как и в § 3.3, можно ввести статистическую сумму (интеграл)
служащую обобщением (3.3.11), и свободную энергию 
Таким же способом, как и в § 3.3, доказывается соотношение (3.3.15) и прочие результаты. Аналогичным образом обобщаются на данный случай формулы из § 3.5. При этом формулы (3.5.1), (3.5.2) заменяются на
Результирующие же равенства (3.5.3), (3.5.5) и другие остаются неизменными.
2. Рассмотрим в качестве примера тот случай, когда 
-мерное действительное пространство 
а функция с (I) имеет вид линейной квадратичной формы
где 
невырожденная положительно определенная матрица. Будем полагать, что 
Тогда формула (3.6.2) примет вид
Вычисляя интеграл и логарифмируя, находим
Следовательно, уравнение (3.3.18) при учете (3.3.16) принимает вид
а формула (3.3.15) дает
т. e. в силу (3.6.7)
Экстремальное распределение в этом случае является гауссовым, и его энтропия 
может быть также найдена при помощи формул § 5.4.
