3.4. Примеры применения общих методов вычисления пропускной способности

Пример 1. Пусть для простоты сначала имеются лишь два символа: которым соответствуют различные штрафы

Статистическая сумма (3.3.11) в этом случае равна

По формуле (3.3.12) ей соответствует свободная энергия

Применяя формулы (3.3.12), (3.3.13), находим энтропию и среднюю энергию

Графики этих функций приведены на рис. 3.1. Там же показано, как графически легко определить пропускную способность при заданном уровне затрат

При изменении температуры от 0 до энтропия меняется от 0 до а энергия от до Так же и в более общем случае при энтропия Ну имеет своим пределом

Это значение, являющееся пропускной способностью, соответствующей отсутствию условий, нельзя превзойти ни при каких средних штрафах.

Аддитивный параметр в штрафах (3.4.1) является малосущественным. От него не зависит ни энтропия, ни распределение вероятностей. Это соответствует тому факту, что аддитивная постоянная в выражении для энергии является аналогом энергии) может быть выбрана произвольно. Оптимальное распределение вероятностей в данном примере согласно (3.3.14) имеет вид

Рис. 3.1.

Термодинамические функции для примера 1.

Найденные функции (3.4.2) можно применять для расчета тех случаев, когда имеется последовательность длины из символов описанного вида. Если число различных элементарных символов равно 2, то число различных последовательностей, очевидно, есть Будем предполагать, что штрафы, приходящиеся на всю последовательность, аддитивно складываются из штрафов, приходящихся на символы, из которых она состоит, так что

Применение полученной ранее формулы (3.3.6) к последовательности показывает, что оптимальное распределение вероятностей для последовательности в этом случае распадается на произведение вероятностей для отдельных символов. При этом термодинамические функции для последовательности равны сумме соответствующих термодинамических функций составляющих символов. В стационарном случае, когда символам, стоящим на различных местах, соответствует одинаковое распределение штрафов, имеем где функции для одиночного символа, которые были найдены ранее [см., например, (3.4.2)].

Пример 2. Рассмотрим более сложный пример, когда принцип аддитивности штрафов (3.4.3) не имеет места. Пусть выбор того

или иного символа или у — 2 не связан с какими-либо затратами сам по себе, но требует затрат смены символа, т. е. переключение с одного символа на другой. Если в последовательности символ 1 следует за 1 или 2 за 2, то штрафов нет; если же за 1 следует 2 или за 2 следует 1, то берется некоторый (один и тот же) штраф Легко понять, что в этом случае суммарный штраф всей последовательности записывается в виде

Требуется найти условную пропускную способность такого канала и оптимальное распределение вероятностей для него. Начнем с вычисления статистической суммы (3.3.11):

Ее удобно записать при помощи матрицы

в виде

Рассматривая ортогональное преобразование

приводящее указанную матрицу к диагональному виду, можно найти

и

Следовательно, по формуле (3.3.12)

В соответствии с (3.3.15), (3.3.16) отсюда получаем

При помощи этих функций легко найти пропускную способность и средние штрафы, рассчитанные на один символ в асимптотическом пределе

Оптимальное распределение вероятностей для символов записи теперь уже не будет распадаться на произведение распределения вероятностей для отдельных символов. Другими словами, последовательность не будет процессом с независимыми значениями. Она будет, однако, простой марковской цепью.

Пример 3. Перейдем к комбинированному случаю, когда имеются штрафы обоих видов: и аддитивные штрафы (3.4.3) того же вида, как и в примере 1, и парные штрафы (3.4.4). Полная функция штрафов имеет вид

Вычисление статистической суммы, которая соответствует этой функции, удобно, как и в примере 2, проводить матричным методом, пользуясь несколько более сложной, чем (3.4.6), формулой

Теперь, однако, матрица имеет более сложный вид:

Практический интерес представляет асимптотический случай больших Если заранее ограничиться этим случаем, то вычисления сильно упростятся. Наиболее существенную роль в сумме будут играть члены, соответствующие наибольшему собственному значению матрицы (3.4.7). Как и в других подобных случаях (см., например, § 3.1), при взятии логарифма и делении его на в пределе окажут влияние лишь эти члены, и мы будем иметь

Матрице (3.4.7) соответствует характеристическое уравнение

т. е. уравнение

- Взяв наибольший корень этого уравнения и учитывая (3.4.8), находим предельную свободную энергию, рассчитанную на один символ

Обычным способом отсюда можно получить среднюю энергию, рассчитанную на один символ, и соответствующую ей пропускную способность.

Как и в примере 2, оптимальное распределение вероятностей соответствует марковскому процессу. Соответствующая ему вероятность перехода связана с матрицей (3.4.7) и отличается от нее нормировочными множителями. Приведем результирующие выражения

Статистические системы, рассмотренные в двух последних примерах, исследовались в статистической физике под названием «модели Изинга» (см., например, Хилл [1], Стратонович [2]).

Пример 4. Рассмотрим теперь методами изложенной общей теории тот случай различных длительностей символов, который был исследован в § 3.1. Под величиной у будем понимать совокупность величин где число последовательных символов в записи, вид символа, стоящего на месте. Если длительность символа вида то в качестве функции штрафа следует взять функцию (3.2.4).

Согласно общему методу вычислим для данного примера статистическую сумму

(если выполнено условие сходимости Здесь обозначено

Применяя формулы (3.3.17), (3.3.13), получаем

Пусть фиксированная длина записи. Тогда условие (3.2.8), (3.3.18) будет иметь вид уравнения

из которого определяется

Формулы (3.4.10), (3.3.11), (3.4.9) дают решение задачи вычисления пропускной способности Представляет интерес также найти удельную пропускную способность

[использовано (3.3.13)] и особенно ее предельное значение при

Дифференцируя (3.4.9), легко получить, что имеет смысл средней длины символа:

по аналогии с (3.3.25). Поэтому уравнению (3.4.11) можно придать вид

из которого видно, что стремится к единице:

Но, очевидно,

Следовательно, в силу (3.4.10),

если (т. е. при этом стремится к конечному значению Согласно (3.4.12) и (3.4.14) имеем в этом случае

Предельное значение в силу (3.4.13) определяется из уравнения

Это уравнение вследствие (3.4.9) есть не что иное, как полученные ранее уравнения (3.1.7), (3.1.9). Формула (3.4.15) при этом совпадает с соотношением (3.1.12). Итак, мы видим, что общий стандартизованный метод приводит к тем же результатам, что и примененный ранее специальный метод.