6.1. Свойства оптимальных устройств обработки

Как указывалось во введении, если ограничиться только линейной модуляцией, то возможны некоторые упрощения, которых не было в общем случае нелинейной модуляции.

Наиболее важные из этих упрощений характеризуются свойством 1.

Свойство 1. Интервальная оценка по максимуму апостериорной вероятности на интервале где

есть принятый сигнал, получается при помощи линейного устройства обработки.

Доказательство. Простой путь убедиться в том, что линейное устройство обработки может давать это найти такую импульсную характеристику что

Сначала умножим (3) на и прибавим полученный результат к (4), после чего получим

Видно, что выражение в первых квадратных скобках есть Перепишем (6), чтобы выразить в явном виде. Заменим также

на чтобы избежать смешения переменных на следующем этапе наших рассуждений:

Теперь умножим обе части (8) на и проинтегрируем результат по х:

Мы видим, что левая часть (9) соответствует пропусканию входной величины через линейный нереализуемый фильтр с изменяющимися во времени параметрами. Сравнивая (3) и (9), можно заметить, что выход фильтра будет равен если потребовать, чтобы внутренний интеграл в правой части (9) был равен на интервале Это и дает уравнение опти мальной импульсной характеристики

Подстрочный индекс «0» означает, что соответствует характеристике оптимального устройства обработки. В (10) мы использовали строгое неравенство по и. Если не содержит импульсов, то достаточно как строгого, так и нестрогого равенства. Однако, выбирая это неравенство строгим, мы можем найти непрерывное решение для (См. обсуждение в гл. 3.) Если содержит компоненту белого шума, то такое предположение справедливо. Как и ранее, мы задаем на концах интервала посредством условий непрерывности

Часто бывает удобно вводить компоненту белого шума в явном виде. Тогда можно записать

и (10) сведется к

Если непрерывные интегрируемые в квадрате функции, то наши результаты в гл. 4 гарантируют, что интегральное уравнение, определяющее будет иметь непрерывное интегрируемое в квадрате решение. При этих условиях (13) справедливо также при ввиду нашего предположения о непрерывности.

Важность свойства 1 заключается в том, что оно гарантирует, что структура устройства обработки является линейной и таким образом сводит задачу к отысканию правильной импульсной характеристики. Аналогичный результат легко вытекает для случая, описываемого (2).

Свойство Оценка сообщения по максимуму апостериорной вероятности на интервале на основе принятого сигнала

получается при помощи линейного устройства обработки.

Второе свойство — это то, что мы уже доказали в гл. 5 (см. стр. 511). Мы приводим его здесь ради полноты изложения.

Свойство 2. Оценка по максимуму апостериорной вероятности в случае линейной модуляции является также интервальной оценкой по минимуму среднего квадрата ошибки. (Это следует из того, что оценка по максимуму апостериорной плотности является эффективной.)

Рис. 6.1. Типичная задача оценки.

Прежде чем решать (10), обсудим родственную задачу, а именно, рассмотрим задачу оценки непрерывного сигнала в одной точке на оси времени.

Модель точечной оценки

Рассмотрим типичную задачу оценки, иллюстрируемую рис. 6.1. Сигнал, подлежащий обработке в приемнике, есть Его формируют путем осуществления линейной операции над с целью получения которое затем умножают на известную модулирующую функцию. К выходу добавляется шум Штриховой линией показана некоторая линейная операция (необязательно инвариантная во времени или реализуемая), которую нам было бы желательно выполнить над есди бы она была доступной (возможно все время). Выходом

модели является полезный сигнал в некоторый заданный момент времени Момент времени может быть или не быть включенным в заданный интервал наблюдения.

Обычными примерами желательных сигналов служат:

Здесь выходом является просто само сообщение. Очевидно, если бы было включено в интервал наблюдения, было бы постоянной, то мы могли бы получить сигнал точно. Вообще говоря, такое условие обычно не выполняется.

Если а есть положительная величина, то нам требуется предсказать значение для некоторого момента времени в будущем. Теперь даже в отсутствие шума задача оценки является нетривиальной, если Если а — отрицательная величина, то нам необходимо значение для некоторого предшествующего момента времени.

В этом случае полезный сигнал является производной сообщения. Могут встретиться операции и других типов.

Мы будем полагать, что линейная операция такова, что определяется в среднеквадратическом смысле (т. е., если как в 3), то мы считаем, что процесс, дифференцируемый в среднеквадратическом). Наше обсуждение велось в разрезе линейной системы модуляции, показанной на рис. 6.1. Мы еще не определили статистики случайных процессов. Будем исходить из следующего предположения.

Гауссовость (нормальность) процессов. Сообщение полезный сигнал и принимаемый сигнал являются совместно нормальными процессами.

Это предположение охватывает задачу линейной модуляции, которую мы уже обсуждали, но не затрагивает необходимости подробного описания системы модуляции. Ради простоты алгебраических выкладок считаем, что все процессы имеют нулевые средние.

Вернемся теперь к задаче оптимальной обработки. Необходимо осуществить такую операцию над чтобы получить оценку Обозначим эту оценку через и выберем устройство обработки так, чтобы минимизировалась величина

Прежде всего заметим, что это оценка точечная (поэтому и подстрочный индекс . Отметим далее, что минимизируется средний квадрат ошибки (отклонения) оценки от желаемого сигнала

Отыщем теперь оптимальное устройство обработки. Подход здесь будет следующим:

1. Прежде всего ищем оптимальное линейное устройство обработки. Свойства 3, 4, 5 и 6 относятся именно к данной задаче. Мы увидим, что предположение о гауссовости не используется при выводе структуры оптимального линейного устройства обработки.

2. Далее, с учетом предположения о нормальности процессов,

из свойства 7 следует, что линейное устройство обработки является наилучшим из всех возможных устройств обработки для критерия среднего квадрата ошибки.

3. Из свойства 8 вытекает, что в предположении нормальности линейное устройство обработки является оптимальным для широкого класса критериев ошибки.

4. Наконец, свойства 9 и 10 показывают связь между алгоритмами точечной и интервальной оценок.

Свойство 3. Линейная оценка по минимуму среднего квадрата ошибки является выходом линейного устройства обработки, импульсная характеристика которого есть решение интегрального уравнения:

Доказательство этого свойства аналогично выводу в § 3.4.5. Выход линейного устройства обработки можно записать в виде

Полагаем, что Средний квадрат ошибки в момент времени равен

Чтобы минимизировать необходимо выполнить процедуру, изложенную в § 3.4.5 (стр. 235—241).

1. Положим

2. Запишем в виде суммы оптимальной ошибки и приращения ошибки

3. Покажем, что необходимое и достаточное условие того, чтобы было положительно при определяется уравнением

Внеся математическое ожидание под знак интеграла, получим

что и является требуемым результатом. В свойстве мы покажем, что решейие (20) является единственным, если функция положительно определена.

Замечаем, что для построения (бинтеза) оптимального линейного устройства обработки, минимизирующего средний квадрат ошибки, необходимы только ковариационная функция принимаемого

сигнала и взаимно ковариационная функция между желаёмым сигналом и принятым сигналом. Обратим внимание на то, что предположение о нормальности процессов еще не использовалось.

Имеется ряд частных случаев, достаточно важных, чтобы рассмотреть их в развернутом виде.

Свойство Когда мы имеем задачу реализуемой фильтрации и (20) обращается в

Используем термин «реализуемый» фильтр, поскольку фильтр, определяемый (21), осуществляет операцию только над прошлой частью процесса [т. е. при

Свойство Пусть Если шум является белым со спектральной плотностью и некоррелированным с то (20) принимает вид

Свойство Когда выполняются условия и и переходит в уравнение

[Соотношения на концах интервала были рассмотрены после Обратимся вновь к общему случаю и выведем выражение для минимума среднего квадрата ошибки.

Свойство 4. Минимум среднего квадрата ошибки оптимального линейного устройства обработки равен

Это выражение получается, если в (18) использовать (16). Далее мы опускаем подсрочный индекс «0» в выражении для оптимальной ошибки.

Представляют интерес также выражения для ошибки в ряде частных случаев. Они получаются прямой подстановкой.

Свойство Если то минимальный средний квадрат ошибки равен

Свойство Если шум является белым и некоррелирован с то минимальный средний квадрат ошибки равен

Свойство 4B. Если соблюдаются условия 4А и 4Б и , то

Если существует, то (27) можно переписать в виде

Объем сведений, необходимых для отыскания оптимального линейного устройства обработки, можно кратко характеризовать следующим свойством.

Свойство 5. и единственные величины, знание которых необходимо для отыскания точечной оценки по минимуму среднего квадрата ошибки, если класс устройств обработки ограничен линейными системами. Любая дополнительная статистическая информация относительно процессов является бесполезной. Все процессы, нормальные и не нормальные, имеющие одинаковые приводят к одному и тому же устройству обработки и к одинаковой среднеквадратической ошибке, если требуется, чтобы обработка была линейной.

Рис. 6.2. Геометрическая интерпретация оптимального линейного фильтра.

Свойство 6. При использовании оптимального линейного устройства обработки ошибка в момент времени некоррелирована с входным колебанием во всех точках интервала наблюдения. Это свойство вытекает непосредственно из (19), если усмотреть, что первый член есть ошибка при использовании оптимального фильтра. Поэтому

Следует заметить, что (29) можно также получить путем простого эвристического рассуждения на основе геометрических представлений. На рис. 6.2 изображено геометрическое представление желаемого сигнала в виде точки в векторном пространстве. Заштрихованная часть плоскости х представляет те точки, которые можно получить посредством линейной операции над данным входным колебанием Нам необходимо выбрать как точку в области ближайшую к

туитивно совершенно ясно, что мы должны выбрать эту точку непосредственно под Следовательно, вектор ошибки перпендикулярен к плоскости х (или, что эквивалентно, к любому вектору в плоскости иначе говоря, для всех

Единственное затруднение заключается в том, что различные функции являются случайными. Удобной мерой квадрата модуля вектора служит его средний квадрат. Квадрат модуля вектора, отображающего ошибку, равен Поэтому условие перпендикулярности выражается как математическое ожидание

для всех непрерывных Отсюда следует, что

а это не что иное, как что эквивалентно, .

Свойство Если рассматриваемые процессы являются совместно нормальными, то ошибка при использовании оптимального линейного устройства обработки статистически не зависит от входного колебания в любой момент времени на интервале наблюдения.

Это свойство вытекает непосредственно из того, что некоррелированные нормальные случайные величины являются статистически независимыми.

Свойство 7. Если справедливо предположение о нормальности процесса, то оптимальное линейное устройство обработки для минимизации среднего квадрата ошибки является наилучшим среди устройств всех типов.

Доказательство. Пусть будет оценкой, создаваемой произвольным непрерывным устройством обработки, которое осуществляет операцию над на интервале Обозначим ее через

Обозначим средний квадрат ошибки при использовании этой оценки через Покажем, что

При этом знак равенства имеет место только в том случае, когда произвольным устройством обработки является оптимальный линейный фильтр:

Первый член (34) неотрицателен. Остается только показать, что второй член равен нулю. Используя (32) и (17), второй член можно записать в виде

Он равен нулю ввиду того, что статистически не зависит от в соответствующей области изменения, за исключением граничных точек (Так как оба устройства являются устройствами непрерывной обработки, математическое ожидание на концах интервала равно нулю.) Поэтому оптимальное линейное устройство обработки не уступает любому другому устройству обработки. Последним интересующим нас вопросом является вопрос о единственности. Для доказательства единственности нам необходимо показать, что первый член есть величина существенно положительная, если оба устройства обработки не тождественны. Мы обсудим этот вопрос по частям.

Свойство Предположим сначала, что соответствует линейному устройству обработки, импульсная функция которого не равна

Таким образом,

где представляет разность импульсных функции.

Используя (36) для оценки первого члена (34), получим

Из (3.35) известно, что если положительно определена, то правая часть будет положительной при всех тождественно не равных нулю. С другой стороны, если только неотрицательно определена, то из рассуждений на стр. 217 гл. 3 известно, что в этом случае существует такая что

Так как собственные функции ядра не образуют полной ортонормированной системы, можно построить из функций, которые ортогональны с Заметим, что в наших рассуждениях при изложении свойства 7 А мы не исходили из предположения о нормальности процессов, а также что мы получили необходимое и достаточное условие единственности решения (20). Если не является положительно определенной функцией, то к любому решению (20) можно

добавить удовлетворяющую (38), и все-таки получить решение. Отметим, что оценка является единственной даже в том случае, если функция не является положительно определенной. Это объясняется тем, что любая которую мы добавляем к должна удовлетворять (38), и, следовательно, не может обусловливать выходную величину, когда на входе действует

Свойство Допустим теперь, что есть непрерывный нелинейный функционал, не равный т. е.

Тогда

Ввиду того что является гауссовым, математическое ожидание в правой части (40) можно выразить посредством комбинаций Если произвести необходимые, но довольно громоздкие подробные выкладки, то можно прийти к выводу, что если является положи» тельно определенной, то математическое ожидание будет положительной величиной при условии, что тождественно не равна нулю.

Чрезвычайная важность свойства 7 очевидна. Оно позволяет нам одновременно получать две группы результатов путем исследования задачи линейной обработки.

1. Если предположение о гауссовости соблюдается, то мы имеем дело с наилучшим возможным линейным устройством обработки.

2. Даже если предположение о гауссовости не соблюдается (или его нельзя обосновать), то мы обязательно найдем наилучшее возможное линейное устройство обработки.

При рассмотрении вопросов оценки непрерывных сигналов мы обсудили только оценивание по минимуму среднеквадратической ошибки и по максимуму апостериорной плотности. Следующее свойство обобщает критерий оценки.

Свойство Пусть означает ошибку оценивания при пользовании некоторой оценкой

Эта ошибка взвешивается с некоторой функцией стоимости Риск равен математическому ожиданию

Байесовский критерий точечной оценки обеспечивает оценку которая минимизирует величину риска. Если предположить, что симметричная выпуклая функция и соблюдается

допущение о гауссовости, то байесовская оценка совпадает с оценкой по минимуму среднеквадратической ошибки, т. е.

Доказательство. Оно сводится к трем заключениям.

1. При соблюдении гауссовости точечная оценка по минимуму среднеквадратической ошибки в любой момент времени (скажем, является условным средним апостериорного распределения Заметим, что речь идет о единственной случайной величине и поэтому указанное распределение является правомерным (см. задачу 6.1.1).

2. Апостериорное распределение является унимодальным и симметричным относительно своего условного среднего.

3. Следовательно, применимо свойство 1, стр. 70 гл. 2, что и позволяет сделать приведенное выше заключение.

Свойство 8Б. Если помимо предположений, сделанных в связи со свойством 8А, потребовать, чтобы функция стоимости была строго выпуклой, то

является единственной байесовской точечной оценкой.

Этот результат следует из (2.158).

Свойство 8В. Если требование выпуклости функции стоимости заменить требованием, чтобы она была симметричной неубывающей функцией, так что

при всех интересующих нас значениях то (44) сохраняет свою силу.

Наконец, мы можем связать наши результаты по точечным оценкам с интервальными оценками по минимуму среднеквадратической ошибки и по максимуму апостериорной плотности.

Свойство 9. Интервальная оценка по минимуму среднеквадратической ошибки является просто совокупностью точечных оценок. В частности, предположим, что мы наблюдаем колебание на интервале и хотим оценить сигнал на интервале так, чтобы среднеквадратическая ошибка, усредненная на заданном интервале, была минимальной

Очеввдно, если можно минимизировать математическое ожидание выражения в скобках при всех то будет минимизироваться. Именно это осуществляет устройство точечной оценки по минимуму среднеквадратической ошибки. Укажем, что устройство точечной оценки по

минимуму среднеквадратической ошибки использует на всем интервале наблюдения для создания . (Отметим, что свойство 9 справедливо также и для нелинейной модуляции.)

Свойство 10. При соблюдении условия гауссовости точечные оценки по минимуму среднеквадратической ошибки и по максимуму апостериорной плотности совпадают. Это свойство является лишь частным случаем свойства 8В. Ввиду того что интервальная оценка по максимуму апостериорной плотности является совокупностью точечных оценок по максимуму апостериорной плотности, интервальные оценки также совпадают.

Рис. 6.3. Задача оценки вектора.

Перечисленные десять свойств служат в качестве исходных положений при исследовании случая линейной модуляции. Свойство 7 позволяет сосредоточить наши усилия в настоящей главе на задаче оптимальной линейной обработки. При соблюдении условия гауссовости наши результаты будут соответствовать наилучшему возможному устройству (алгоритму) обработки (для описанного выше класса критериев). Для произвольных процессов эти результаты будут соответствовать наилучшему устройству (алгоритму) линейной обработки.

Нетрудно заметить, что все результаты переносятся на векторный случай с очевидными модификациями. Однако, поскольку некоторые свойства будут использоваться в последующем, сформулируем их в развернутом виде. Типичная векторная задача иллюстрируется рис. 6.3.

Сообщение представляет -мерный вектор. Мы оперируем над ним при помощи матричного линейного фильтра, имеющего входов и выходов:

Вектор умножается на -мерную матрицу модуляции с целью получения -мерного вектора который и передается по каналу. Вектор мы сформировали путем последовательного осуществления линейных операций с памятью и без памяти. Причина указанной

последовательной двухэтапной процедуры станет очевидной ниже. Полезный сигнал есть -мерный вектор, связанный с посредством функционала, соответствующего матричному фильтру с входами и выходами. Таким образом:

С некоторыми типичными векторными задачами мы встретимся позднее. Размерности различных векторов могут быть разными.

Полезный сигнал имеет компонент. Обозначим оценку I-й компоненты через Необходимо одновременно минимизировать

Сообщение есть векторный нормальный процесс с нулевым средним, а помеха — -мерный нормальный процесс. Вообще говору предполагается, что помеха содержит компоненту белого шума

где положительно определена. Предполагается, что необходимые ковариационные функции известны. Будем пользоваться той же нумерацией свойств, что и в скалярном случае, добавляя только букву Ради краткости повторять исходных допущений не будем.

Свойство 3V.

Доказательство — см. задачу 6.1.2.

Свойство

Свойство

где ковариационная матрица ошибок, элементы которой равны

(Поскольку ошибки имеют нулевые средние, корреляционная и ковариационная функции совпадают.)

Доказательство — см. задачу 6.1.3.

Остальные свойства для векторного случая получаются путем простой модификации.

Краткие итоги по § 6.1. В данном параграфе был исследован ряд свойств, появляющихся при наложении ограничений применительно

к случаю линейной модуляции. Хотя эта задача была рассмотрена лишь в контексте модуляции, вполне очевидно, что она имеет широкий круг приложений. Так, если положить в определенные моменты времени и в остальное время, то получим дискретизированную модель наблюдения. Этот и другие, представляющие интерес случаи, иллюстрируются в задачах, вынесенных за пределы основного текста (см. задачи 6.1.4-6.1.9).

До сих пор не вводилось никаких ограничений характера процессов и интервала наблюдений. Иначе говоря, процессы могли быть как стационарными, так и нестационарными, а моменты времени произвольными. Теперь будем рассматривать конкретные методы решений. Самый легкий путь решения — рассмотреть различные частные случаи.

В остальной части данной главы рассмотрены линейные устройства обработки. Вообще говоря, мы не оговариваем в явном виде, что допущение о гауссовости соблюдается. Важно еще раз подчеркнуть, что если это допущение не выполняется, то мы ищем только наилучшее линейное устройство обработки (нелинейное устройство может быть лучше). Каждой обсуждаемой нами задаче соответствует другая задача, в которой процессы являются гауссовыми и для которой данное устройство обработки является оптимальным из всех устройств обработки по заданному критерию.

Следует также заметить, что остальную часть главы можно было бы изучать непосредственно после гл. 1, если подходить к ней как к «структурной» задаче и не пользоваться допущением о гауссовости. Понятно, что это придает задаче неправильный акцент и что линейное устройство обработки следует рассматривать как некое устройство, вырабатывающее условное среднее.