3.2. Дискретный канал без помех и его пропускная способность

Рассмотренная ранее запись или передача в заданном алфавите, имеющая фиксированную длину, является примером дискретного канала без помех. Дадим здесь более общее определение этого понятия.

Пусть имеется величина у, принимающая дискретное множество (не обязательно с конечным числом элементов) значений. Далее на задана некоторая (числовая) функция с По причинам, которые ясны из дальнейшего, ее будем называть функцией штрафов. Пусть задано некоторое число а и фиксировано условие

Система а] полностью характеризует дискретный канал без помех.

Условие (3.2.1) выделяет из множества некоторое подмножество число элементов которого предполагается конечным. Этими элементами можно записывать или передавать информацию, и число интерпретируется как число различных реализаций записи, подобное числу в § 3.1.

Для частного случая, рассмотренного в § 3.1, множество есть множество различных записей

В этом случае целесообразно выбрать функцию

Тем самым длинные записи сильнее штрафуются, в этом косвенно отражена желательность сокращения длины записи. При таком выборе условие (3.2.1) совпадает с условием

т. е. с требованием, чтобы длина записи не превосходила заданной величины Рассмотрение этого примера будет продолжено в § 3.4 (пример 4).

Величина (число реализаций) говорит о возможностях данной системы (канала) записывать или передавать информацию. Максимальное количество информации, которое может быть передано, очевидно, равно Это количество можно назвать информационной емкостью или пропускной способностью. Непосредственное вычисление однако, иногда сопряжено с некоторыми трудностями, как это видно из примера, рассмотренного в § 3.1. Поэтому понятие пропускной способности канала удобнее определять не как а несколько иначе.

Введем распределение вероятностей на У и заменим условие (3.2.1) аналогичным условием для среднего значения

Его нужно понимать как ограничение, наложенное на распределение Пропускную способность С или информационную емкость канала определяем как максимальное значение энтропии

Максимизация здесь производится по различным распределениям которые совместимы с условием (3.2.5).

Таким образом, пропускная способность канала определена как решение некоторой вариационной задачи.

Как будет видно из дальнейшего (§ 4.3), между величиной (3.2.6) и имеется прямая асимптотическая связь. Если говорить о приложениях этих идей к статистической физике, то соотношение (3.2.1) (взятое со знаком равенства) соответствует микроканоническому, каноническому распределению. Асимптотическая эквивалентность этих распределений хорошо известна в статистической физике.

Приведенные выше определения канала и его пропускной способности можно несколько модифицировать, заменив, например, неравенства (3.2.1), (3.2.6) двухсторонними неравенствами

или неравенствами, направленными в другую сторону (если при этом число реализаций остается конечным). Кроме того, в более сложных случаях могут быть заданы несколько числовых функций или функция со значениями из какого-либо другого пространства. Все эти модификации обычно не связаны с принципиальными изменениями, и мы не будем на них особо останавливаться.

Функция штрафов с в различных задачах может иметь различный физический или технический смысл. Она может описывать «стоимость» отдельных символов, указывать неодинаковые затраты, идущие на запись или передачу того или иного символа, например, различное количество краски или электроэнергии. Она может соответствовать штрафам, налагаемым на различные неблагоприятные факторы, например, штрафовать чрезмерную высоту букв и т. п. В частности, если подвергается штрафам длина символов, то выполняется (3.2.3) или с при

Введение штрафов, платежей и т. п. типично для математической статистики, теории оптимального управления, теории игр, и мы неоднократно будем их рассматривать в дальнейшем.

Когда функция с действительно имеет физический смысл штрафов или потерь, затрачиваемых на передачу информации, и затраты приносят пользу, то максимальное значение энтропии в (3.2.6), как правило, имеет место при наибольших затратах из допустимых, так что в (3.2.5) или (3.2.7) можно оставить лишь знак равенства, полагая

К вариационной задаче (3.2.6), (3.2.8) близко стоит другая, обратная вариационная задача: задача отыскания распределения минимизирующего средние потери (риск)

при фиксированном значении энтропии

где заданное число.

Наконец, возможен третий вариант постановки задачи: требуется максимизировать некоторую линейную комбинацию указанных выражений

Существенно, что все три указанные постановки задачи приводят к одному и тому же решению, если параметры должным образом согласованы между собой. Любую из указанных разновидностей мы называем первой вариационной задачей.

Эти вопросы удобно исследовать при помощи вводимых ниже термодинамических потенциалов.