5.5.5. Обсуждение.

Из доказательства вспомогательных лемм и прямой теоремы кодирования следует несколько важных выводов.

1. Последовательности сообщений источника независимых гауссовских сообщений, рассматриваемые как векторы -мерного евклидова пространства, с высокой вероятностью лежат вблизи поверхности -мерной сферы радиуса с центром в начале координат. В силу симметрии гауссовского -мерного распределения на сфере нет преимущественных областей. Все сообщения распределены на «твердой» сфере равномерно.

Хотя последовательности сообщений источника и лежат вблизи поверхности -мерной сферы радиуса для их аппроксимации нужно выбирать точки, которые не лежат на этой сфере. Оказывается, что наилучший с точки зрения числа точек выбор аппроксимирующего множества состоит в выборе точек, лежащих на -мерной сфере меньшего радиуса, который зависит от требуемой ошибки аппроксимации. При доказательстве теоремы мы сразу взяли сферу на которой выбирались аппроксимирующие векторы. Из обратной теоремы

кодирования следует, что невозможно выбрать меньше чем аппроксимирующих векторов, и следовательно, выбор сферы является наилучшим.

В теореме 5.5.1 доказано, что вероятность выбора «плохого» кода меньше единицы. Это доказывало существование кода, удовлетворяющего условиям и (5.5.36). Однако из неравенства (5.5.54) следует, что при достаточно больших

т. е. вероятность выбора «плохого» кода чрезвычайно мала при больших и почти любой случайным образом выбираемый код, аппроксимирующее множество которого состоит примерно из векторов, будет обеспечивать среднюю ошибку, примерно равную .

2. Хотя в формулировке прямой теоремы идет речь о гауссовском источнике, однако единственное место, где использовалась гауссовость, — это формула (5.5.49). Поэтому, если источник без памяти, порождающий негауссовские сообщения, которые имеют нулевое среднее, дисперсию D и конечный четвертый момент, кодировать с помощью кода, дающего среднеквадратическую ошибку в случае гауссовского источника, то среднеквадратическая ошибка кодирования в негауссовском случае также будет меньше или равна Отсюда следует, что величина является верхней границей достижимой скорости кодирования негауссовского источника без памяти при среднеквадратической ошибке

3. Прямая теорема кодирования формулировалась для источника сообщений (случайных величин), математическое ожидание которых равно нулю. Очевидно, что все доказательство без изменений переносится на тот случай, когда сообщения имеют ненулевое математическое ожидание. Отличие состоит только в том, что вместо сферы с центром в начале координат следует использовать такую же сферу с центром в точке где математическое ожидание.

4. Доказанная прямая теорема вместе с обратной теоремой кодирования позволяет сделать следующий вывод. Для источника гауссовских сообщений без памяти е-скорость создания информации при среднеквадратическом критерии качества равна эпсилон-энтропии гауссовской случайной величины относительно квадрэтического критерия качества.

Из замечания, сделанного в следует, что источник без памяти» порождающий гауссовские сообщения, имеет наибольшую -скорость создания информации при квадратическом критерии качества среди всех источников без памяти с фиксированной дисперсией.