Глава 4. ПЕРВАЯ АСИМПТОТИЧЕСКАЯ ТЕОРЕМА И СВЯЗАННЫЕ С НЕЙ РЕЗУЛЬТАТЫ

В предыдущей главе для одного примера (см. § 3.1, 3.4) было показано, что при подсчете максимальной энтропии (т. е. пропускной способности каналов без помех) ограничение с , наложенное на допустимые реализации, при достаточно большой записи эквивалентно ограничению а для среднего значения В настоящей главе будет доказано (§ 4.3), что такая эквивалентность имеет место при определенных предположениях в общем случае. Это составляет содержание первой асимптотической теоремы. Кроме нее в дальнейшем будут рассмотрены еще две асимптотические теоремы (гл. 7 и 11). Указанные асимптотические теоремы представляют собой наиболее глубокие результаты теории информации. Всем им свойственна следующая общая черта: в конечном счете они утверждают, что для предельно больших систем исчезает разница между дискретным и непрерывным, что характеристики массовых дискретных объектов могут быть подсчитаны при помощи непрерывных функциональных зависимостей, затрагивающих усредненные величины. Применительно к первой вариационной задаче это выражается в том, что дискретная функция от а, имеющая место при ограничении с а, асимптотически заменяется на непрерывную функцию подсчитанную при решении первой вариационной задачи.

По методу доказательства первая асимптотическая теорема оказывается родственной теореме об устойчивости канонического распределения (§ 4.2), важной в статистической термодинамике. Там ее, по существу, доказывают при выводе канонического распределения из микроканонического. Здесь мы рассматриваем ее в более общей и абстрактной форме. Родственность первой асимптотической теоремы и теоремы о каноническом распределении еще раз говорит о единстве математического аппарата теории информации и статистической термодинамики.

В процессе доказательства указанных теорем используется потенциал и его свойства. Нужный для этого материал излагается в § 4.1. Он связан с содержанием § 3.3. Однако вместо обычной физической свободной энергии рассматривается безразмерная свободная энергия — потенциал Вместо обычных в термодинамике параметров вводятся симметрично

определенные параметры При таком выборе температура выступает как рядовой параметр наряду с прочими.

При систематическом использовании «термодинамических» потенциалов оказывается удобным трактовать логарифм характеристической функции как характеристический потенциал. В самом деле, он является производящей функцией семиинвариантов, как и потенциал

В § 4.4 излагаются вспомогательные теоремы, касающиеся характеристического потенциала, которые используются в дальнейшем при доказательстве второй и третьей асимптотических теорем.