6.4. Корреляционное декодирование

Выражение (6.36) для взаимной информации весьма полезно для некоторых аналитических целей, однако его вычисление затрудняется тем, что равно среднему квадрату разности между (определенным в выражении а не среднему квадрату разности между всем сигналом на выходе и Вместе с тем, как видно из следующей теоремы, из выражений (6.36) и (6.37) легко может быть получено выражение, удобное для практических вычислений.

Теорема. Пусть сигнал на выходе канала с аддитивным гауссовским белым шумом со спектральной плотностью сигнал, соответствующий сообщению появляющемуся с вероятностью Взаимная информация определенная в выражении (6.34), равна

где

— средняя взаимная мощность (взаимная корреляция) сигнала и сигнала на выходе канала и

— средняя мощность сигнала Величина В как функция задается следующим образом:

Доказательство. Выражения (6.36) и (6.37) для и А можно переписать в виде

С другой стороны, из выражения (5.114) и (6.40) имеем

Аналогично из выражений (6.40) и (6.41) получаем

Отсюда следует, что скалярное произведение равно средней взаимной мощности определяемой равенством (6.49). Кроме того, подставляя в равенство вместо получаем выражение (6.50).

Наконец, из равенств (6.52) и (6.53) с помощью выражений (6.49) и (6.50) получаем выражение

из которого вытекают соотношения (6.48) и (6.51). Ч. Т. Д.

Как указывалось в разд. 6.1, двумя наиболее употребительными критериями декодирования являются критерии максимума правдоподобия и максимума апостериорной вероятности.

Операции, выполняемые декодером в соответствии с этими двумя критериями, определяются следующей теоремой.

Теорема. Декодирование для канала с непрерывным временем, с аддитивным белым стационарным гауссовским шумом заключается в выборе среди возможных входных сообщений сообщения для которого

где средняя взаимная мощность, определяемая равенством (6.49), и где

когда критерием декодирования является критерий максимума правдоподобия, и где

когда критерием декодирования является критерий максимума апостериорной вероятности. Средняя мощность сигнала представляющего сообщение определена равенством (6.50).

Доказательство. При использовании критерия максимума правдоподобия декодер должен выбрать сообщение максимизирующее плотность распределения вероятностей т. е. сообщение, являющееся наиболее вероятной причиной фактически появившегося на выходе сигнала. С другой стороны, из выражений (6.34), (6.43) и (6.44) мы имеем

откуда следует, что

Далее, и величина В, определенная равенством (6.51), не зависят от Отсюда мы можем заключить, что для любого данного выходного сигнала максимизация эквивалентна максимизации

При использовании критерия максимума апостериорной вероятности декодер должен выбрать для любого данного выходного сигнала сообщение максимизирующее апостериорную вероятность С другой стороны, из

выражений (6.34), (6.43) и (6.48) имеем

Поскольку В опять-таки не зависит от то при максимизации правой части равенства (6.62) В можно не принимать во внимание. Ч. Т. Д.

Из этой теоремы очевидно, что операция декодирования зависит от выходного сигнала только через средние взаимные мощности Следовательно, показанные на рис. 6.2 устройства вычисления вероятностей должны только определить чисел соответствующих возможным сообщениям. значений можно хранить в решающем устройстве, например в виде смещений.

Так как операция декодирования определяется средними взаимными мощностями то вероятность появления ошибки декодирования зависит только от совместного распределения вероятностей этих средних взаимных мощностей.

Теорема. Пусть сигнал на выходе канала с аддитивным белым гауссовским шумом; обозначим через сигнал, соответствующий сообщению и через

среднюю взаимную мощность между сигналами, соответствующими сообщениям и Плотность условного совместного распределения вероятностей гауссовская со средним значением

и ковариациями

Доказательство. Выходной сигнал-вектор связан с входным вектором-сигналом соотношением

и компоненты вектора шума статистически независимы и имеют гауссовское распределение с нулевым средним и

дисперсией С другой стороны, из выражения (6.49) и (6.66) имеем

и с помощью соотношения (5.114)

Отсюда следует, что случайные величины являются линейными комбинациями гауссовских случайных величин а потому имеют гауссовское распределение.

Среднее значение равно

где компонента вектора Ковариации и равны

Ч. Т. Д.

Рассмотренные выше операции кодирования и декодирования можно реализовать при помощи пары согласованных фильтров. Два фильтра называются согласованными, когда их импульсные отклики связаны соотношением

где — некоторая постоянная. Иначе говоря, импульсные отклики согласованных фильтров получаются один из другого изменением направления временной шкалы и введением некоторой задержки. Так как отклик фильтра на импульс, появляющийся в момент должен обращаться в нуль для то условие (6.71) может быть удовлетворено при конечном то, только когда обращается в нуль вне некоторого конечного интервала где Как хорошо известно, частотные характеристики двух фильтров с откликами на импульс, удовлетворяющими условию (6.71), являются комплексно сопряженными с точностью до фазового сдвига, соответствующего задержке .

Предположим, что генераторы сигналов, изображенные в левой части рис. 6.2, есть фильтры с импульсными откликами,

не совпадающими с сигналами и что на вход фильтра соответствующего передаваемому сообщению переключатель подает мгновенный импульс (в действительности лишь достаточно узкий импульс). Тогда если выходной сигнал питает группу из фильтров, согласованных с фильтрами, порождающими входные сигналы, то сигналом на выходе фильтра будет

Отсюда следует, что если возбуждающий импульс появляется в момент и импульсный отклик для равен

то сигнал на выходе фильтра в момент будет равен

Другими словами, значение сигнала на выходе фильтра в момент равно средней взаимной мощности умноженной на Следовательно, устройства вычисления вероятностей, изображенные в правой части рис. 6.2, могут быть реализованы в виде фильтров, согласованных с фильтрами, порождающими входные сигналы.

Следующий простой пример иллюстрирует некоторые из результатов, полученных в этом и предыдущем разделах. Предположим, что ортонормированных функций, образующих входные сигналы, представляют собой непересекающиеся прямоугольные импульсы шириной т. е.

где

Легко проверить, что эти функции удовлетворяют условию (5.114). Существует много способов выбора остальных ортонормированных функций, при которых совокупность их в целом удовлетворяет соотношению (5,114),

При этом выборе ортоиормироваиных функций сигналы становятся последовательностями импульсов ширины произвольной величины и полярности. Компоненты векторов U равны амплитудам импульсов, взятых с их знаками и деленными на Компоненты вектора шума задаются формулами

Аналогично компоненты вектора выходного сигнала задаются формулой

Следовательно, шум канала и выходной сигнал мы можем представлять себе как последовательности импульсов ширины появляющихся синхронно с импульсами, образующими входной сигнал. Конечно, каждый выходной импульс является суммой соответствующих входного импульса и шума. Так как компоненты вектора шума статистически независимы и имеют гауссовское распределение с нулевым средним и дисперсией, задаваемой соотношением (6.35), то амплитуды импульсов шума статистически независимы и имеют гауссовское распределение с нулевым средним и дисперсией Интересно отметить, что если мы определим эффективную ширину полосы, занимаемую импульсами, как

то дисперсия амплитуды каждого импульса шума становится равной т. е. равной мощности шума в полосе Средняя взаимная мощность (по условию равна сумме произведений амплитуд входных и соответствующих выходных импульсов, деленной на

Эта импульсная модель передачи по каналу с аддитивным белым гауссовским шумом может быть весьма полезна как при интерпретации полученных выше результатов, так и для восстановления их в памяти. Другое преимущество такой модели состоит в том, что пара согласованных фильтров с импульсными откликами, состоящими из последовательности импульсов постоянной ширины, может быть легко построена с помощью линий задержки с равными промежутками между отводами.