9.7. ГАУССОВСКИЕ ИСТОЧНИКИ С КВАДРАТИЧНО-РАЗНОСТНЫМ ИСКАЖЕНИЕМ

Рассмотрим источник, выход которого представляет собой последовательность статистически независимых одинаково распределенных гауссовских случайных величин каждая из которых имеет плотность вероятности

Найдем для этого источника скорость как функцию искажения с мерой искажения Найдем сначала нижнюю границу для [точки, в которых ось R пересекается с касательной наклона — к кривой и используем эту границу для построения нижней границы для Затем покажем, что нижняя граница равна и рассмотрим получающийся тест-канал. Из (9.6.18) имеем

где любая функция, удовлетворяющая ограничению

Заменой переменных приводим этот интеграл к виду

Поэтому (9.7.3) может быть удовлетворено с равенством для всех если постоянная

Подставляя эту формулу в (9.7.2) и интегрируя, получаем

Для любого имеем следовательно

Максимизация правой части (9.7.6) по дает

Для граница в (9.7.8) отрицательна и может быть заменена на Вместе с тем, отображением всех и в достигается среднее искажение с нулевой средней взаимной информацией, так что

Далее покажем, что (9.7.8) удовлетворяется с равенством при Для этого сначала покажем, что (9.7.5) удовлетворяется с равенством при и найдем соответствующий тест-канал. Необходимое условие для равенства в (9.7.5) состоит в том, что имеется решение с уравнения

Левая часть (9.7.11) является сверткой гауссовской плотности вероятности с дисперсией с функцией со а правая часть является гауссовской плотностью вероятности с дисперсией А. Следовательно, (9.7.11) удовлетворяется для всех и при

Функция является плотностью вероятности при сходится к -функции при и не существует как действительное

решение (9.7.11) при Отсюда следует, что (9.7.5) удовлетворяется с равенством при следовательно, что

График этой функции изображен на рис. 9.7.1. Координата пересечения оси R и касательной наклона — к этой кривой задается для всех равенством

Рис. 9.7.1 Скорость как функция искажения для гауссовского дискретного по времени источника с дисперсией Лис квадратично-разностным искажением

Так как эти рассуждения, доказывающие равенство, строились на довольно абстрактных идеях § 9.4 и 9.6, то найдем тест-канал, задаваемый (9.7.12), и покажем, что он действительно дает искажение и среднюю взаимную информацию Из (9.6.21) следует, что переходная плотность вероятности тест-канала равна

где обратная переходная вероятность задается выражением

Если временно представить себе, что является входом канала, то можно считать распределением, порожденным аддитивной гауссовской случайной величиной с нулевым средним значением и дисперсией При таком истолковании где независимые гауссовские случайные величины (рис. 9.7.2) и тест-канал является «обращенным» каналом с аддитивным гауссовым шумом. Тогда среднее искажение равно как раз среднеквадратическому значению

Средняя взаимная информация равна

Е каком-то смысле интуитивно более удовлетворительны вид тест-канала изображен на рис. 9.7.3, где выход получается сначала сложением и независимой гауссовской случайной величины с нулевым средним и дисперсией и затем умножением результата на Так как совместно гауссовские, эквивалентность этих рисунков показывает, что одни и те же для каждого рисунка. Можно также показать, что умножение является в точности той операцией, которая требуется для образования оценки и с минимальной дисперсией ошибки по сумме и Теоремы кодирования 9.6.2 и 9.6.3 для источника применимы к этому источнику, так как для любого заданного среднее относительно значение равно

Рис. 9.7.2. Тест-канал (обращенный вид).

Рис. 9.7.3. Тест-канал (прямой вид).

Имеется один особенно важный канал, а именно дискретный по времени канал с аддитивным гауссовым шумом с ограничением на энергию, при передаче по которому можно достигнуть без кодирования минимума среднеквадратической ошибки задаваемой Нужно просто усилить выход источника до энергии, соответствующей ограничению на входе канала, и затем соответственно ослабить выход канала. Более интересный вариант этой задачи возникает, когда используется канал, скажем, N раз для каждого выхода источника. Это, конечно, математическое моделирование ситуации, когда гауссовский случайный процесс с некоторой полосой частот должен быть передан с помощью непрерывного по времени канала с аддитивным шумом и полосой частот в N раз большей полосы частот источника. В этой ситуации для достижения предельного искажения, определяемого теоремой кодирования для источника, должны быть использованы кодирование источника и кодирование для канала. В таких случаях для достижения сравнительно малого искажения может быть использована хорошо знакомая и просто реализуемая техника частотной, фазовой и импульсно-кодовой модуляций. Однако, как мы увидим вскоре, если в нашем распоряжений имеется бесшумная обратная связь от выхода канала к выходу источника, то возможно достигнуть минимально возможного искажения, по существу, без кодирования.

Пусть дисперсия шума в канале и пусть А — значение энергии, задающее ограничение на входе канала. Определим величинуа равенством и заметим, что Удобно умножить выход канала на так, что канал Принимает вид тест-канала рис. 9.7.3. Пусть входов канала,

соответствующих одной букве источника, и соответствующие выходы (справа от умножителя). Пусть заметим, что если каждый вход представляет собой гауссовскую случайную величину с нулевым средним и дисперсией А, то обращенный канал на рис. 9.7.2 эквивалентен каналу на рис. 9.7.3 и каждая является гауссовской случайной величиной с нулевым средним, не зависит от и имеет дисперсию

Примем вначале, что выход источника и имеет дисперсию А, равную ограничению на энергию в канале. Рассмотрим следующий выбор входов канала:

Так как — гауссовская случайная величина с нулевым средним и дисперсией А, то отсюда следует, что независимая от у, гауссовская случайная величина с нулевым средним и с дисперсией Так как то отсюда следует, что гауссовская случайная величина с нулевым средним и дисперсией А. Продолжая эти рассуждения, видим, что все являются гауссовскими случайными величинами с нулевыми средними и дисперсиями А, и каждая независимая от гауссовская случайная величина с нулевым средним с дисперсией Заметим, что эта схема передачи требует, чтобы передатчик знал ( принятый символ перед передачей символа.

Предположим, что приемник для каждого находит оценку символа источника и с помощью соотношений

Покажем теперь, что можно представить в виде

Это устанавливается по индукции. Для имеем что согласуется с (9.7.21). Теперь примем, что (9.7.21) справедливо для и подставим это выражение вместо в (9.7.20). Используя соотношения и (9.7.19) для найдем, что (9.7.21) справедливо для

Из (9.7.21) видно, что пропорционально ошибке в оценке при передаче. Следовательно, при каждой последующей передаче передается нормированное по амплитуде значение предыдущей ошибки [см. (9.7.19)]. Из (9.7.20) видно, что приемник использует каждый принятый сигнал для исправления ошибки предыдущей передачи.

Как следует из (9.7.21), конечное среднее искажение после N передач равно

Отсюда следует, что Это равно пропускной способности канала, умноженной на таким образом, минимально возможное искажение для этих источника и канала, как следует из теоремы кодирования для источника. Если дисперсия источника отлична от величины, ограничивающей энергию на входе канала, то можно просто изменить масштаб перед первой передачей и восстановить масштаб на последней оценке, так что отношение дисперсии источника к конечному искажению останется равным тому же самому оптимальному значению. Приведенный выше результат принадлежит Элайсу (1961).

Указанный выше метод использования обратной связи для передачи гауссовской случайной величины с минимальным среднеквадратичным искажением тесно связан с методом передачи цифровых данных по гауссовскому каналу с обратной связью, открытым Шелквийком и Кайлатом (1966).

Рис. 9.7.4. Модель для передачи с обратной связью гауссовской случайной величины

Для того чтобы вывести этот результат, установим сначала, что для каждого величины в (9.7.21) статистически независимы. Чтобы увидеть это, напомним, что независимы. Теперь, если применить индукцию и принять, что и независимы, то из (9.7.19) следует, что независимы. Так как является линейной комбинацией то независимы. Следовательно, из (9.7.20) находим, что независимы, если и независимы. Для завершения доказательства остается заметить, что, очевидно, и независимы. Исходя из этого результата, всю передачу от и до можно представить с помощью рис. 9.7.2, рассматривая как шум. Эквивалентно этому, передачу можно представить, как изображено на рис. 9.7.4.

Так как эквивалентный шум на рис. 9.7.4 является гауссовым и он не зависит от и, то рис. 9.7.4 можно использовать для изображения схемы передачи при использовании (9.7.19) независимо от того, является и гауссовской случайной величиной или нет. Теперь предположим, что требуется передать одно сообщение из множества сообщений. Эти сообщения можно закодировать в множество чисел от к следующим образом:

Тогда декодирование можно осуществить, отображая принятое число в ближайшую точку сообщения. Если шум меньше чем ошибки не произойдет. Следовательно, для каждого сообщения

Взяв где скорость в натах на символ канала, и вспоминая, что пропускная способность канала в натах равна получаем отсюда

При выражение, стоящее в круглых скобках, ограничено снизу 1, и, используя границу (8.2.38) для находим

Если сообщения равновероятны, то расстояние между сообщениями может быть увеличено до без нарушения ограничения на мощность при первой передаче. При этом получающаяся вероятность ошибки ограничена выражением

Значение и необычность этого результата заключаются в том, что убывает по двойной экспоненте с ростом а не по обычной экспоненте, подобно всем остальным нашим результатам о вероятности ошибки.