4. Обсуждение формулы Таллера — Шеннона

Столь значительный результат требует более подробного обсуждения для того, чтобы обосновать сделанные приближения и доказать, что предел (17.13) действительно может быть достигнут. Прежде всего мы должны быть уверены в том, что учли влияние флуктуаций и непредсказуемых изменений шума. Все это содержится в общей статистической формуле (9.32):

где — вероятность микросостояния («комплексии» или квантового состояния) с энергией Е при температуре Т, а В — коэффициент, определяемый тем условием, что сумма вероятностей должна равняться единице. Это соотношение может непосредственно применяться к шуму. Пусть — переменные, представляющие только шум. Тогда (17.9) дает для полной энергии шума

С другой стороны, между и содержится объем (см. (17.10)), и число квантованных микросостояний пропорционально этому объему. Таким образом, вероятность того, что точка лежит между и равна

так как

В — новая нормирующая постоянная. Новая вероятность имеет очень острый максимум при некотором значении r,

когда

Легко показать, что с увеличением этот максимум становится все более острым. Равенство (17.19) дает наиболее вероятное значение , и, следовательно, наиболее вероятное значение энергии шума равно

Это — типичный пример совпадения наивероятнейшего значения и среднего значения когда число переменных становится чрезвычайно большим. Мы уже имели пример этого явления в главе 4 (см. разделы 7 и 8).

В нашей задаче сообщение представлено точкой с координатами в пространстве N измерений, а сигнал с шумом дает точку с координатами

где — случайно. Предыдущее рассуждение показывает, что эта новая точка с координатами практически должна лежать на поверхности сферы радиуса с центром в исходной точке М. Это в точности те условия, которые были приняты при выводе формулы Таллера — Шеннона (см. (17.12) и (17.13)).

Эти условия применимы только при низких частотах, когда много меньше kT и квантовые состояния могут считаться бесконечно близкими. При этих обстоятельствах шум может быть определен как гауссов шум. Распределение по какой-либо переменной не зависит от других переменных и следует закону согласно (17.16) и (17.17). Гауссов шум неприменим в квантованной системе, если только кванты не могут считаться бесконечно малыми. Рис. 17.1 дает геометрическое представление ситуации с учетом соотношения (17.10), согласно которому точки сферы должны

практически лежать на ее поверхности. Точка М, представляющая исходное сообщение с энергией Е, находится на сфере радиуса Сообщение плюс шум представлено точкой М на сфере радиуса расстояние равно (см. (17.12) и (17.19)). представляет возможное положение точки другого сообщения, которая могла бы быть спутана с М, поскольку эта точка находится на таком же расстоянии от М. Таким образом, , есть наименьшее возможное расстояние между различимыми точками сообщений.

Рис. 17.1. Сечение N-мерной гиперсферы плоскостью, показывающее две «ближайшие» точки сообщений и влияние шума.

Рис. 17.1 дает плоское сечение многомерного пространства, определяемое тремя точками и Расстояние принимает предельное значение, когда ММ перпендикулярно к , а — перпендикулярно к Это значит, что площадь А треугольника равна

откуда

Расстояние между точками М и действительно меньше, чем расстояние , где r — радиус шумовой сферы, окружающей М.

Мы должны теперь выяснить, как расположить точки сообщений М в сфере R объема

с тем, чтобы обеспечить передачу со сколь угодно малой

вероятностью ошибки. Пусть

есть допустимая вероятность ошибки. Распределим точки сообщений по объему V с постоянной средней плотностью. Один возможный способ получения постоянной плотности состоит в случайном распределении по объему, как предложено Шенноном. Пусть есть полное число точек сообщений. Каждая точка сообщения, попадающая внутрь сферы радиуса Н, окружающей точку М, может быть спутана с М, что и дает ошибку. Объем этой сферы равен

Точки сообщений, попадающие в остающийся объем V — u, не могут дать ошибки. Вероятность ошибки, очевидно, пропорциональна и и мы требуем:

Эхо означает, что мы можем взять число точек

согласно (17.12), (17.13) и (17.15). Соотношение (17.27) можно переписать в виде

где G - величина, определенная равенством (17.13). Наибольшее число соответствует знаку равенства в (17.28) и дает пропускную способность канала:

или согласно (17.24)

Пропускная способность канала может быть сколь угодно приближена к теоретическому пределу С, определенному ранее (см. (17.15)). Для этого нужно только распределить точки сообщений по сфере радиуса R с постоянной средней плотностью.