Источники, порождающие гауссовские случайные процессы

Распространим теперь результаты для гауссовских дискретных по времени источников на источник, выход которого является стационарным гауссовским случайным процессом с нулевым средним и корреляционной функцией Рассмотрим выход источника на интервале и представим его с помощью разложения Карунена-Лоева

где ортонормальные на интервале функции являются решениями уравнения

Как было показано в гл. 8, - статистически независимые гауссовские случайные величины с нулевыми средними и дисперсиями

Предположим, что нужно представить и у адресата с помощью функции и определим искажение на единицу времени между и на интервале равенством

Если разложено по тем же ортонормальным функциям, как т. е. то

Для любой заданной вероятностной меры на последовательности и последовательности для которой независимые гауссовские случайные величины с нулевыми средними не для каждого можно рассмотреть взаимную информацию в натах на единицу времени между последовательностями и среднее искажение на единицу времени, задаваемое как среднее значение выражения (9.7.30) по Скорость как функция искажения для заданного источника и заданного интервала тогда определяется как

где нижняя грань берется по вероятностным мерам, для которых независимые гауссовские случайные величины с нулевыми средними и с и для которых

Найдем сначала затем возьмем предел

и, наконец, покажем, что допускает то же самое истолкование, как для дискретных по времени источников без памяти. Для того чтобы вычислить определим сначала

где в (9.7.33) обозначает совместную вероятностную меру с данной статистикой источника, вычисляются по этой мере. Так

как статистически независимы, то можно, используя те же рассуждения, как и в (9.6 2), получить

с равенством, если каждая пара статистически независима от других пар. Аналогично из (9 7 30)

Следовательно,

с равенством, если каждая пара статистически независима от других пар. Как было показано в (9.7.14), минимум каждого отдельного слагаемого этого типа имеет вид

Левая часть (9 7.36) минимизируется, когда каждый совместный ансамбль выбирается удовлетворяющим (9 7 37) и когда каждая пара не зависит от всех других пар. Имеем

Замечая, что дифференцируема по (даже на границе можно положить производную по правой части (9.7.39) равной нулю, получая, что для минимизирующего

Подставновка (9.7.40) в (9.7.39) дает

Можно увидеть, что (9.7 40) и (9.7.41) являются параметрическими уравнениями, определяющими через где наклон Для достаточно малых чтобы удовлетворить условию при всех I, имеем является

средней мощностью выхода источника, которую в дальнейшем будем обозначать через

Заметим теперь, что (9.7.40) и (9.7.41) представляются каждое в виде умноженной на сумму по функций собственных значений. В (9.7.40) функция равна при и равна при В (9.7.41) функция равна при и равна 0 при Лемма 8.5.3 применима к обеим этим функциям и для любого фиксированного можно перейти к пределу при получая параметрические уравнения

где спектральная плотность источника.

Рис. 9.7.5 Интерпретация интегралов для для источника, порождающего гауссовскии стационарный случайный процесс

Рис. 9.7.5 иллюстрирует смысл этих интегралов. Заметим, что площадь заштрихованной области и что область интегрирования для совпадает с областью частот под штриховкой накрест.

Тест-канал, для которого достигается эта функция может быть представлен или с помощью рис. 9.7.6, который является непрерывным аналогом рис. 9.7.2, или с помощью рис. 9.7.7, который является непрерывным аналогом с небольшими изменениями рис. 9.7.3. Шумовой процесс на каждом рисунке имеет спектральную плотность, задаваемую заштрихованной частью на рис. 9.7.5. Фильтры в прямом тест-канале на рис. 9 7.7 являются физически нереализуемыми, но, добавляя достаточную задержку в представлении их

Рис. 9.7.6 Обращенный тест-канал для точника, порождающего стационарный уссовский случайный процесс

Рис. 9 7.7 Прямой тест канал

можно аппроксимировать сколь угодно близко физически реализуемыми фильтрами. Следует напомнить, что эти тест-каналы являются исскуственными ограничениями в теории передачи с заданным искажением. В отличие от дискретного по времени гауссовского источника тест-канал для источника, порождающего гауссовский случайный процесс, в общем случае не используется источником со скоростью, равной пропускной способности (при этом принимаются соответствующие мощностные ограничения на входе канала). Следовательно, даже если имеется соответствующий тест-канал, пригодный для достижения искажения со скоростью то можно достигнуть среднего искажения, меньшего чем если использовать дополнительную обработку данных и увеличить среднюю взаимную информацию в канале выше Основная цель этих тест-каналов — дать легко запоминаемую картину того, что должно выполнять эффективное представление гауссовского случайного процесса. В частности, представление должно полностью игнорировать те частотные компоненты источника, на которых спектральная плотность мала.

Функция определяется как предел по весьма большому интервалу времени минимума средней взаимной информации на единицу времени между и для заданного среднего искажения на единицу времени. Из рассуждений, таких же как в теореме 9.2.2, ясно, что если источник связан с адресатом с помощью канала с пропускной способностью С нат в единицу времени, то среднее искажение, которое может быть достигнуто при любых преобразованиях источника и сигналов, ограничено снизу для которого Теорема кодирования для источника также применима здесь, однако, к сожалению, ее доказательство отличается в ряде мест от данного в теореме 9.6.2 и потому оно будет приведено ниже.

Теорема 9.7.1. Пусть выходом источника является стационарный гауссовский случайный процесс с корреляционной функцией и интегрируемой и ограниченной спектральной плотностью Пусть мера искажения между и на интервале задается (9.7.29). Тогда для любого любого и любого достаточно большого Т существует код с кодовыми словами [где задается (9.7.42) и (9.7.43)] такой, что среднее искажение на единицу времени между и и кодовым словом, в которое отображается и меньше или равно

Доказательство. Если то теорема тривиальна, так как код может состоять из одного-единственного кодового слова Если то выбираем так, чтобы удовлетворить (9.7.42) для заданного Пусть для любого заданного интервал времени Т произволен, но достаточно велик, чтобы удовлетворить условию

где задаются (9.7.40) и (9.7.41). Рассмотрим теперь ансамбль кодов с

кодовыми словами. Кодовые слова выбираются независимо в соответствии с выходными вероятностями тест-канала, что приводит к т. е. кодовые слова задаются соотношением

где коэффициенты независимые гауссовские случайные величины с нулевыми средними и с

Пусть число собственных значений которые больше чем Тогда для каждого кодового слова при всех и искажение между любым кодовым словом задается выражением

Отсюда видно, что для любого заданного множества кодовых слов и заданного и кодовое слово с минимальным искажением определяется только по первым компонентам суммы Заметим также, что вкладу в среднее искажение на единицу времени от всех компонент, за исключением первых равен Следовательно, если положить и

то среднее искажение в единицу времени для какого-либо кода из ансамбля можно представить следующим образом:

где кодовое слово, в которое отображается и. Далее определим равенствами

Пусть вероятность в ансамбле кодов и функций, порождаемых источником того, что

Как и в лемме 9.3.1,

где

и вероятность события А в ансамбле тест-канала. Далее оценим сначала сверху правую часть (9.7.52) и используем эту границу для получения верхней границы для . Так как для тест-канала и

то можно оценить сверху выражениями

Из неравенства Чебышева следует, что

Так как пары независимы в ансамбле тест-канала, то

Вспоминая, что и независимые гауссовские случайные величины с дисперсиями соответственно, получаем

Аналогично

где использовано то обстоятельство, что гауссовская случайная величина с дисперсией Подставляя эти выражения в (9.7.55), находим

На основании (9.7.46), (9.7.44) и (9.7.50) получаем

Подставляя (9.7.61) и (9.7.62) в (9.7.52), выводим

Теперь рассмотрим некоторый код из ансамбля, для которого (9.7.63) удовлетворяется, и положим

Добавим теперь к уже выбранным кодовым словам добавочное кодовое слово и заметим, что кодовых слов удовлетворяют условиям теоремы. Если и то отобразим и в в противном случае отобразим и в ближайшее кодовое слово. Для этого нового кода имеем

где в — среднее искажение, или среднее значение при условии, что и Как и в теореме в можно оценить сверху, предполагая, что все большие значения относятся к последовательностям и из В. Так как то это приводит к

где определяется равенством

Используя неравенство Шварца для (9.7.66), получаем

Подставляя (9.7.68) в (9.7.65) и строя границу сверху с помощью суммирования по всем I, находим

где средняя мощность источника. Подставляя (9.7.69), (9.7.51), (9.7.40) и (9.7.45) в (9.7.49), получаем

Наконец, оценивается сверху правой частью (9.7.63). Доказательство будет завершено, если будет показано, что это выражение стремится к 0 при Заметим, что является функцией и из теоремы Каца, Мардока и Сеге следует (см. лемму 8.5.2), что

Если в ненулевой области частот, то (9.7.71) не справедливо, но может быть ограничена сверху в пределе при больших если использовать меньшее значение в (9.7.71). Следовательно, стремится к нулю при и для достаточно больших Т имеем что завершает доказательство.