12.5. Энергетические затраты в физических каналах

Энергетические затраты необходимы не только для создания и записи информации, но и для ее передачи, если последняя происходит в условиях наличия флюктуационных возмущений, например тепловых. Как известно из статистической физики, в линейных системах на каждую степень свободы приходится средняя равновесная флюктуационная энергия, равная где температура окружающей среды (термостата). В ряде работ (Брюллюэна [1] и др.) высказывалась мысль, что для передачи одного ната информации в этих условиях необходима энергия не меньше (мы пользуемся энергетическими единицами температуры, так что постоянная Больцмана полагается равной единице). В настоящем параграфе мы пытаемся уточнить это положение и привести для него соответствующее доказательство.

Назовем физическим каналом канал, описываемый переходными вероятностями и функцией штрафов с если у имеет смысл полного набора динамических переменных некоторой физической системы 5. Функцию Гамильтона (энергию) последней обозначим через (она неотрицательна). Зная ее, по обычным формулам можно вычислить равновесный потенциал

и зависимость энтропии от средней энергии

Теорема 12.3 Пропускная способность (см. § 8.1) физического канала удовлетворяет неравенству

где уровень и «температура флюктуаций» определены равенствами

Средняя энергия и условная энтропия Ну подсчитываются при экстремальном распределении реализующим пропускную способность, которое предполагается существующим. Предполагается также, что второе уравнение (12.5.4) имеет корень в нормальной ветви, где

Доказательство. Формулы (12.5.1), (12.5.2) появляются при решении первой вариационной задачи (см., например, § задачи на экстремум энтропии Ну при ограничении Поэтому выполняется неравенство

(фиксирован уровень Далее, как следует из общей теории (см. следствие из теоремы 4.1), функция является выпуклой так что ее производная

— невозрастающая функция от

Пропускная способность канала совпадает с шенноновским количеством информации

для экстремального распределения обращающего его в условный максимум. Из (12.5.5) и обычного неравенства находим

Поскольку корень уравнения в нормальной ветви выпуклой функции где производная неотрицательна, то в какой бы ветви ни лежало значение из (12.5.8) имеем Учитывая его и невозрастающий характер производной (12.5.6), получаем Это неравенство в сочетании с вытекающим из (12.5.7) и (12.5.5), дает (12.5.3). Доказательство закончено.

Вследствие положительности величины вытекающей из неотрицательного характера энергии в (12.5.3) член можно отбросить. От этого неравенство может только усилиться. Однако это делать не всегда целесообразно, поскольку формула (12.5.3) допускает следующую простую интерпретацию. Величину можно трактовать как среднюю «энергию флюктуационного шума», а разность — как оставшуюся после прохождения через канал «энергию полезного сигнала». Тогда согласно на

каждый нат пропускной способности будет приходиться по меньшей мере «энергия полезного сигнала» Если а— энергия полезного сигнала до прохождения через канал, которую естественно считать превосходящей оставшуюся энергию то тем более будет выполняться неравенство

Проще всего конкретизировать эти рассуждения для случая квадратичной энергии

и аддитивного независимого шума (с нулевым средним значением):

Подставляя (12.5.10) в (12.5.9) и усредняя! имеем

Вследствие (12.5.10) и независимости шума далее имеем

Первую экстремальную задачу, решением которой является рассмотренная ранее функция или обратная функция можно, как известно (§ 3.2), трактовать как задачу минимизации средней энергии при фиксированной энтропии. Следовательно, есть минимальное значение энергии, возможное при фиксированной энтропии т. е.

но в силу (12.5.4), (12.5.12) есть не что иное, как поэтому (12.5.13) можно записать

Из (12.5.11) и (12.5.14) получаем Это неравенство позволяет преобразовать основное доказанное нами неравенство (12.5.3) к виду или

если функция штрафов с совпадает с энергией

Приведенные здесь результаты, касающиеся физических каналов, тесно связаны с теоремой 8.5. В этой теореме, однако, «температурный» параметр имеет формально-математический смысл. Чтобы он приобрел смысл физической температуры, нужно штрафы с или специализировать как физическую энергию.

Согласно неравенству (12.5.15) в гауссовых физических каналах для передачи одного ната информации требуется по меньшей мере энергия Следует отметить, что какого-либо универсального неравенства типа (12.5.15), включающего не эффективную, а фактическую температуру канала, вывести не удается.