§ 5.5. Прямая теорема кодирования стационарного источника независимых гауссовских сообщений при квадратическом критерии качества
Целью этого параграфа является формулировка и доказательство прямой теоремы кодирования для стационарного источника независимых гауссовских случайных величин (гауссовского источника без памяти). Для доказательства будет использован закон больших чисел для независимых непрерывных с. в. и вытекающий из него результат, называемый принципом «затвердевания сферы». Кроме этого, будет использован метод случайного кодирования и будет показано, что существует достаточно много кодов, скорость которых близка к эпсилон-энтропии при заданном значении среднеквадратической ошибки.
5.5.1. Закон больших чисел и принцип «затвердевания сферы».
Пусть
последовательность некоррелированных одинаково распределенных с. в. с конечными математическими ожиданиями и конечными дисперсиями. Тогда для любых положительных у и
найдется такое
что при всех
где
математическое ожидание каждой из с. в.
Это утверждение называется законом больших чисел. Оно ранее формулировалось и доказывалось для дискретных с. в. Доказательство этого утверждения для непрерывные с. в. производится в точности так же (см. задачу 2.2.9).
Предположим, что
последовательность независимых одинаково распределенных с. в. с нулевыми математическими ожиданиями и дисперсиями, равными
Тогда
также последовательность независимых одинаково распределенных с. в. с математическими ожиданиями, равными
и дисперсиями, равными
Предположим, что рассматриваемые с. в. имеют конечный четвертый момент:
тогда для каждой из с. в.
дисперсия также конечна и поэтому применим закон больших чисел. Из этого закона следует, что
для любых положительных
при достаточно больших
выполняется следующее неравенство:
Последовательность
можно рассматривать как случайный вектор в
-мерном евклидовом пространстве, тогда
является длиной этого вектора. Очевидно, что
случайная величина, принимающая неотрицательные значения. Мы хотим показать, что при любом положительном
и достаточно большом
событие, состоящее в том, что
появляется с вероятностью, близкой к единице. Другими словами, при больших
случайный вектор X лежит вблизи поверхности
-мерной сферы радиуса
с центром в начале координат.
Из (5.5.2) следует, что при достаточно больших
и произвольных положительных у и
событие, состоящее в том, что
имеет вероятность большую или равную 1 — у. Из правого неравенства (5.5.5) следует, что
и
Из левого неравенства (5.5.5) следует, что
и
Таким образом, событие, определяемое неравенствами (5.5.5), влечет следующее событие:
Полагая
получим, что