4.3. Асимптотическая эквивалентность двух видов ограничений

Рассмотрим асимптотические результаты, связанные с содержанием гл. 3. Покажем, что при вычислении максимальной энтропии (пропускной способности каналов без помех) ограничения, наложенные на средние значения, и ограничения, наложенные на точные значения, асимптотически эквивалентны друг другу. Эти результаты тесно связаны с теоремой об устойчивости канонического распределения, доказанной в § 4.2.

Будем вести изложение в более общей форме, чем в § 3.2 и 3.3, используя вспомогательную меру подобно тому, как это делается в § 3.6,

Пусть задано пространство X с мерой нормированной на единицу). Энтропию будем определять формулой

[см. (1.6.13)]. Имеется ограничение

или, более обще,

где Е — некоторое (измеримое) множество, заданная функция. Энтропию уровня А (или множества Е) определим максимизацией

Здесь множество перебираемых распределений характеризуется тем, что вероятность сосредоточена в подпространстве определяемом условиями (4.3.2) или (4.3.3), т. е.

Условия (4.3.2), (4.3.3) будут ослаблены, если их заменить аналогичными условиями для математических ожиданий:

где символ М соответствует усреднению с мерой Р. Усредняя (4.3.2), (4.3.3) с мерой Р из мы получим (4.3.6), следовательно, множество распределений Р, определяемое условием (4.3.6), включает в себя множество определяемое условием (4.3.5). Поэтому, если ввести энтропию

то будем иметь

Отыскание энтропии (4.3.7) при условии (4.3.6) есть не что иное, как первая вариационная задача (см. § 3.3, 3.6). Энтропия Я совпадает с энтропией некоторого канонического распределения

(эта формула совпадает с (3.6. За) при При этом Значение совпадает обычно с максимальной или с минимальной точкой интервала Е.

Нетрудно убедиться, что энтропия (4.3.4) определяется формулой

в то время как для энтропии (4.3.7) из (4.3.9) получаем

Глубокие асимптотические результаты, связанные с первой вариационной задачей, состоят в том, что энтропии (4.3.10) и (4.3.11) в некоторых случаях близки друг другу, и для вычисления одной величины можно находить другую. Обычно вместо (4.3.10) удобно вычислять энтропию (4.3.11) канонического распределения (4.3.9), применяя обычные в статистической термодинамике методы. Указанные результаты, подтверждающие большую роль канонического распределения (4.3.9), родственны результатам, изложенным в предыдущем параграфе как по содержанию, так и по методам доказательства.

Описанную выше «систему» (или канал без помех), к которой относятся , будем реализовать двояким образом. С одной стороны, будем полагать заданной «малую систему» (канал), которая имеет Сдругой стороны, пусть имеется «большая система» (канал), для которой

Она является степенью «малой системы». Приведенные ранее формулы (4.3.1)-(4.3.11) можно применять к обеим указанным системам. Определение энтропий можно провести как для «малой», так и для «большой системы». Значения для «малой системы» существенно различны, но для «большой системы» эти значения согласно нижеизложенному относительно близки в асимптотическом смысле:

Поскольку, как легко убедиться, то соотношение (4.3.12) можно записать

Эта формула, а также различные ее обобщения и составляют основной результат первой асимптотической теоремы.

Для «большой системы» условия (4.3.3), (4.3.6) берем в виде

где не зависит от Если ввести функцию

то условие можно заменить формулой

Экстремальное (дающее распределение имеет вид

где нормировочная постоянная, весьма просто связанная с энтропией Н:

Очевидна аналогия формулы (4.3.14) с (4.2.19) и (4.2.22). Это говорит о том, что задача вычисления энтропии (4.3.15) родствена задаче вычисления парциального распределения (4.2.9), рассмотренной в предыдущем параграфе. Как и там, условия точной мультипликативности

и точной аддитивности

не являются обязательными для доказательства основного результата — сходимости (4.3.12). Сформулируем результат сразу в общем виде, используя введенное в § 4.2 понятие канонически устойчивой последовательности случайных величин (при этом под будем подразумевать набор

Теорема 4.5. (первая асимптотическая теорема). Пусть задана последовательность мер и последовательность случайных величин канонически устойчивая относительно распределения

(мера ) всего пространства значений предполагается конечной). Тогда энтропию можно подсчитывать по асимптотической формуле

где

— потенциал, входящий в (4.3.11). Следовательно, при имеет место сходимость (4.3.12).

Условие нужно только для существования вероятностной меры (4.3.16). Если оно не выполняется, то нужно лишь модифицировать определение канонической устойчивости для , а именно, потребовать, чтобы при дружно стремился к бесконечности не характеристический потенциал, а потенциал (4.3.18).

Для доказательства, как и в § 4.3, воспользуемся интегральным представлением (4.2.20). Произведем в соотношении

интегрирование по после подстановки (4.2.20). В силу (4.3.18) будем иметь

Вычисление интеграла можно проводить методом перевала (скорейшего спуска), т. е. при помощи формулы (4.2.166) с различной степенью точности. Точка перевала определяется уравнением

Применимость метода перевала обеспечивается условием канонической устойчивости.

Для доказательства теоремы 4.4 достаточно такой точности:

Здесь величина, определяемая из уравнения мало отличающаяся от

Доказательство закончено.

Разумеется, аналогичным образом можно получать и более точные асимптотические результаты.

Как видно из доказательства, условия канонической устойчивости случайных величин достаточно для справедливости теоремы. Однако ниоткуда не следует, что это условие является необходимым, что нельзя указать какого-либо более слабого условия, при котором теорема справедлива. Без сомнения, теорему 4.5 (а также, возможно, и теорему 4.4) можно распространить на более общий случай. Об этом косвенно говорит тот факт, что для примера, изложенного в § 3.1 и 3.4, условие канонической устойчивости не выполняется, а предельный переход (4.3.12) при как мы видели, имеет место.

Наряду с другими асимптотическими теоремами, которые будут рассмотрены в дальнейшем (гл. 7 и 11), теоремы 4.3-4.5 составляют основное содержание теории информации, понимаемой в широком смысле как «термодинамической», т. е. асимптотической теории. Многие важные понятия и соотношения этой теории приобретают свое значение в процессе предельного перехода, связанного с увеличением рассматриваемых систем, и являются в этом смысле асимптотическими.