8.4. Симметричные каналы

В некоторых частных случаях пропускная способность каналов может быть подсчитана более простыми методами, чем методы § 8.3. Рассмотрим сначала так называемые симметричные каналы. Изложение будем вести в дискретном варианте.

Канал называется симметричным по входу, если каждая строка матрицы

яёляется перестановкой одних и Тех же величин имеющих смысл вероятностей. Очевидно, что для таких каналов выражение

не зависит от и равно

Нетрудно понять, что (8.4.2) совпадает с Формуле (8.3.5) при этом можно придать вид

или

если или условие, связанное с отсутствует. Соотношения (8.4.3) образуют уравнения относительно неизвестных Поскольку Ну для каналов, симметричных по входу, то количество информации для таких каналов равно

Максимизация по сводится поэтому к максимизации энтропии по

Формула (8.4.4) еще более упрощается для полностью симметричных каналов. Канал называется полностью симметричным, если в матрице (8.4.1) каждый столбец также является перестановкой одних и тех же величин (скажем

Нетрудно убедиться, что равномерное распределение

является решением уравнений (8.4.4) в случае полностью симметричных каналов. В самом деле, вероятности

для полностью симметричных каналов не зависят от у, поскольку сумма

для всех столбцов одна и та же. Следовательно, распределение по у является равномерным

Отсюда вытекает, что и равенства (8.4.4) выполняются, если

Поскольку

то результат (8.4.7) можно записать так:

Здесь М обозначает усреднение по с весом Приведенное рассмотрение можно обобщить и на тот случай, когда переменные х и у носят непрерывный характер. При определении симметричных каналов в этом случае вместо перестановки элементов строки или столбца матрицы нужно говорить о перестановке соответствующих интервалов. Формула (8.4.7) будет иметь вид

где

Вместо (8.4.9) будем иметь

Усреднение здесь соответствует весу вспомогательная мера, на основе которой производится перестановка интервалов (меняются местами равные интервалы в шкале, при которой мера является равномерной).