§ 5.5. Прямая теорема кодирования стационарного источника независимых гауссовских сообщений при квадратическом критерии качества

Целью этого параграфа является формулировка и доказательство прямой теоремы кодирования для стационарного источника независимых гауссовских случайных величин (гауссовского источника без памяти). Для доказательства будет использован закон больших чисел для независимых непрерывных с. в. и вытекающий из него результат, называемый принципом «затвердевания сферы». Кроме этого, будет использован метод случайного кодирования и будет показано, что существует достаточно много кодов, скорость которых близка к эпсилон-энтропии при заданном значении среднеквадратической ошибки.

5.5.1. Закон больших чисел и принцип «затвердевания сферы».

Пусть последовательность некоррелированных одинаково распределенных с. в. с конечными математическими ожиданиями и конечными дисперсиями. Тогда для любых положительных у и найдется такое что при всех

где математическое ожидание каждой из с. в.

Это утверждение называется законом больших чисел. Оно ранее формулировалось и доказывалось для дискретных с. в. Доказательство этого утверждения для непрерывные с. в. производится в точности так же (см. задачу 2.2.9).

Предположим, что последовательность независимых одинаково распределенных с. в. с нулевыми математическими ожиданиями и дисперсиями, равными Тогда также последовательность независимых одинаково распределенных с. в. с математическими ожиданиями, равными и дисперсиями, равными Предположим, что рассматриваемые с. в. имеют конечный четвертый момент: тогда для каждой из с. в. дисперсия также конечна и поэтому применим закон больших чисел. Из этого закона следует, что

для любых положительных при достаточно больших выполняется следующее неравенство:

Последовательность можно рассматривать как случайный вектор в -мерном евклидовом пространстве, тогда

является длиной этого вектора. Очевидно, что случайная величина, принимающая неотрицательные значения. Мы хотим показать, что при любом положительном и достаточно большом событие, состоящее в том, что

появляется с вероятностью, близкой к единице. Другими словами, при больших случайный вектор X лежит вблизи поверхности -мерной сферы радиуса с центром в начале координат.

Из (5.5.2) следует, что при достаточно больших и произвольных положительных у и событие, состоящее в том, что

имеет вероятность большую или равную 1 — у. Из правого неравенства (5.5.5) следует, что и

Из левого неравенства (5.5.5) следует, что и

Таким образом, событие, определяемое неравенствами (5.5.5), влечет следующее событие:

Полагая получим, что

причем последнее неравенство выполняется при достаточно больших значениях

Отсюда следует, что при достаточно больших случайный вектор с высокой вероятностью попадает внутрь достаточно тонкой сферической области вблизи поверхности -мерной сферы радиуса с центром в начале координат. Такая область называется «твердой» сферой (см. рис. 5.5.1).

Явление «затвердевания» -мер ной сферы является проявлением закона больших чисел.

Рис. 5.5.1. К принципу «затвердевания сферы».

Если случайного вектора X обладае сферической симметрией, т. е. если для любых двух векторов и имеющих одинаковые длины, то возможные значения вектора X заполняют «твердую» сферу равномерно. Другими словами, в этом случае вектор X имеет равномерное распределение вероятностей на «твердой» сфере. Отметим, что гауссовское -мерное распределение вероятностей случайного вектора X, образованного независимыми одинаково распределенными гауссовскими с. в., обладает указанной сферической симметрией.