ПРИЛОЖЕНИЕ 1Б. НЕРАВЕНСТВО ИЕНСЕНА ДЛЯ ВЫПУКЛЫХ ФУНКЦИИ

Лемиа. Пусть выпуклая функция, принимающая действительные значения на действительной прямой. Пусть случайная величина с конечным математическим ожиданием. Тогда

Неравенство переходит в противоположное для выпуклых функцийф Доказательство. Сначала приведем доказательство для конечного выборочного пространства.

Определение выпуклой функции можно кратко сформулировать следующим образом: любой отрезок прямой, соединяющей точки должен лежать под функцией на интервале (см. рис. 1Б.1).

Рассмотрим сначала двоичную случайную величину с распределением Из

Рис. 1Б.1. Выпуклая функция

определения прямой вытекает, что точка принадлежит прямой и, следовательно, должна находиться непосредственно под точкой на функции. Отсюда следует неравенство

Перейдем к обобщению на распределение, сосредоточенное в трех точках с параметрами где Тогда

Здесь мы воспользовались неравенством так как коэффициенты определяют распределение, сосредоточенное в точках

Применив еще раз к двоичному распределению сосредоточенному в точках получим

Подставив значение и объединив получим

Продолжим индукцию по конечным распределениям порядка Допустим, что для распределения порядка справедливо неравенство

Тогда для распределения порядка получим

где и где воспользовались неравенством и тем, что при образуют распределение, сосредоточенное в точке. Применив к двоичному распределению получим

И, наконец, объединяя неравенства имеем

или что и следовало доказать

Обобщение на бесконечные дискретные выборочные пространства — непосредственно, так же, как и обобщение на любые распределения для которых существует интеграл Стильтьеса В таких случаях неравенство переходит в неравенство

Общей записью для может служить неравенство

где выпуклая функция. Неравенство переходит в противоположное, если выпукла

Задачи

(см. скан)

(см. скан)

(см. скан)

(см. скан)

Следовательно, при фиксированной скорости можно выбрать такую большую длину блока, что код будет обладать средней погрешностью, сколь угодно близкой к минимально возможной.

В § 8.2 были оценены характеристики наилучшего из возможных способов кодирования стационарных эргодических источников. Обобщая рассмотренный пример, можно показать, что если источник можно смоделировать в виде конечного набора стационарных эргодических подысточников, то, применяя для каждого подысточника свой достаточно хороший код и образуя из этих кодов композиционный код для всего источника, который в данном случае стационарен, но необязательно эргодичен, можно достичь минимально возможной средней погрешности, соответствующей заданной скорости. Этот прием обобщается на широкий класс неэргодических стационарных источников, поскольку всякий такой источник представим как набор стационарных эргодических источников с заданным априорным распределением вероятностей того, что выходная последовательность данного подысточника является выходной последовательностью всего источника. Хотя для многих источников число необходимых для такого представления подысточников бесконечно, при некоторых дополнительных топологических ограничениях, относящихся как к источнику, так и к мере погрешности, этот набор подысточников можно аппроксимировать конечным набором подысточников. Но если имеется конечная аппроксимация, то дальше можно действовать как в вышерассмотренном примере. Чтобы проиллюстрировать этот подход, вернемся к случаю двоичного источника, но уже с несчетным числом стационарных эргодических подысточников (Грэй, Нейхоф к Шилдс [1975]).

Пример. (Двоичный источник со случайным параметром Рассмотрим двоичный источник без памяти, у которого вероятность появления на выходе символа -случайная величина, принимающая значения от 0 до 1. Закодируем этот источник, используя меру погрешности Если бы значение было известно, то имелся бы двоичный источник, обладающий свойствами стационарности и эргодичности. Поскольку параметр случайный, то источник, рассматриваемый в целом, стационарен, но не эргодичен. Чтобы свести задачу к предыдущему примеру, нужно аппроксимировать множество всех возможных подысточников конечным множеством подысточников. Для этого определим расстояние между двумя двоичными источниками без памяти с известными, но различными параметрами.

Пусть и двоичные источники без памяти с параметрами соответственно. Пусть любое совместное распределение, такое, что

и

интервале сигналов конечной энергии представляющих соответствующие блоков сообщений можно задать в виде

(см, приложение причем для всех тип

а базисные функции ортонормальны

и В действительности тогда и только тогда, когда сигналы линейно независимы. Как следствие такого представления, энергию сигналов можно выразить квадратами норм векторов

поскольку из соотношения (2.1.2) вытекает, что для любого

Общий вид схемной реализации кодера и модулятора, приведенный на рис. 2.2, основан на представлении (2.1.1). Кодер, таким образом, производит отображение множества сообщений в векторы из действительных чисел. В самом общем случае модулятор состоит из N амплитудных модуляторов (сигналы модулируются по амплитуде символами при и сумматора. Схему модулятора можно существенно упростить. Как будет показано в § 2.7, если амплитуды принадлежат конечному алфавиту, а базисные функции выбраны непересекающимися и ортогональными во времени (т. е. функциями, которые отличны от нуля на непересекающихся интервалах времени), то становится возможным использовать цифровой кодер. В этом случае можно обойтись единственным модулятором, используемым в режиме с разделением времени.

Рис. 2.2. Кодер-модулятор

Передатчик и приемник общей системы (см. рис. 2.1) вместе со средой распространения можно рассматривать как одно случайное отображение конечного множества передаваемых сигналов в принимаемый случайный процесс Прежде чем сигнал появится на выходе приемника, на него накладывается целый ряд искажений, вносимых средой распространения сигнала. К ним относятся замирания, многолучевое распространение, межсимвольная интерференция, нелинейные искажения и аддитивный шум. Пока будем считать, что единственным источником искажений служит аддитивный белый гауссовский шум. Эта наиболее простая модель тем не менее в ряде случаев весьма точно отражает реальную ситуацию в системе связи. В § 2.6 и 2.12 мы рассмотрим и другие упомянутые источники искажений.

Канал с аддитивным белым гауссовским шумом (АБГШ) моделируется схемой, содержащей сумматор, как это показано на рис. 2.2. Для входного сигнала выходным сигналом будет

где стационарный случайный процесс с мощностью, распределенной равномерно в полосе частот, значительно превышающей ширину полосы сигнала; следовательно, он моделируется как процесс со спектральной плотностью, равномерной в сколь угодно широкой полосе частот, или, что эквивалентно, процессом с функцией ковариации

где дельта-функция Дирака, односторонняя спектральная плотность шума.

Можно считать, что демодулятор — декодер в общем случае осуществляет отображение принятого процесса в решение относительно первоначального сообщения. Для данной модели канала операции, производимые демодулятором — декодером, также можно разложить на две отдельные операции, по существу двойственные операциям кодирования и модулирования. Рассмотрим сначала проекции случайного процесса на каждую базисную функцию модулятора, задающие N интегралов — скалярных произведений

Они вычисляются с помощью системы, представленной на рис. 2.3. Введем также коэффициенты

и, следовательно, из (2.1.1) и (2.1.4) имеем

Рассмотрим теперь процесс

Пусть передан сигнал Из соотношений следует, что указанный процесс можно записать в виде

и что он зависит только от процесса шума. Следовательно, первоначальный процесс можно представить

В § 2.2 мы подробно объясним, что любое статистическое решение о переданном сообщении основывается на априорных вероятностях сообщений и условных вероятностях (плотностях) результатов измерения процесса называемых обычно наблюдениями.

Рис. 2.3. Демодулятор для АБГШ канала

Допустим, что в качестве наблюдений мы взяли лишь N проекций заданных соотношением (2.1.6). Определенный соотношением (2.1.4) сигнал представляет собой гауссовский процесс, поэтому и наблюдения - гауссовские случайные величины со средними, зависящими только от соответствующих компонент сигнала

и дисперсиями, равными поскольку для любого

Аналогично доказывается, что наблюдения взаимно некоррелированны, и для любых имеем

Отсюда, в силу того, что наблюдения — гауссовские случайные величины, вытекает, что они, кроме того, независимы. Введем вектор из N наблюдений

компоненты которого суть независимые гауссовские случайные величины со средними, заданными в (2.1.12), и дисперсиями Тогда условная плотность вероятностей у при заданном векторе сигнала (или, что то же, при условии, что передано сообщение равна

Вернемся к представлению (2.1.11) для Ясно, что вектор наблюдений полностью задает слагаемые, входящие в сумму; однако член определенный в соотношении (2.1.10), зависит только от шума и не связан с сигналом. Далее, поскольку среднее шумового сигнала равно нулю, то представляет собой гауссовский процесс с нулевым средним. Наконец, и вычисленные по нему любым способом наблюдения не зависят от наблюдений так как

Так как наблюдения, вычисленные по не зависят ни от наблюдений ни от переданного сигнала то они не существенны при принятии решения о том, какое из сообщений было передано. Более точное утверждение формулируется следующим образом, если Я представляет собой любой вектор из N наблюдений, построенных только по то, как вытекает из предыдущего, совместная условная плотность вероятностей имеет вид

Сомножитель бесполезен при решении, поскольку входит во все условные плотности (при одинаковым образом.

Отсюда заключаем, что для принятия решения полезен только первоначальный вектор наблюдений у, построенный по Поэтому указанные наблюдения образуют достаточные статистики. Следовательно, демодулятор можно реализовать по схеме, приведенной на рис. 2.3. Таким образом, демодулятор отображает процесс с непрерывным временем в -мерный случайный вектор у, поступающий на вход декодера; структуру последнего мы намерены изучить в следующем параграфе.

Подводя итоги сказанному, отметим, что для АБГШ канала использование общих и подробных схем модулятора и демодулятора, представленных на рис. 2 2 и 2.3, позволяет свести сложную модель (см. рис. 2.1) к простой модели кодер — канал — декодер (рис. 2.4), в которой канал представляет собой случайное отображение, заданное условной плотностью вероятностей

И хотя мы рассмотрели только случай с АБГШ каналом, результат остается справедливым для многих других каналов. Любой канал, условные (или переходные) плотности вероятностей (или вероятности) которого удовлетворяют соотношению (2.1.16), называется каналом без памяти. В § 2.8 мы обсудим класс каналов без памяти, получающихся из АБГШ канала. Более сложные примеры приводятся в § 2.12.

Рис. 2.4. Структурная схема канала без памяти