5.3. Нижняя граница среднеквадратической ошибки оценки

При рассмотрении вопросов оценки конечных множеств случайных величин было установлено, что чрезвычайно полезным результатом является выражение для нижней границы среднеквадратической ошибки, которую может иметь любая оценка. Впоследствии будет показано, что при оценке сигналов подобное выражение столь же полезно. В данном параграфе мы выведем выражение для нижней границы среднеквадратической ошибки, которую может иметь любая оценка случайного процесса.

Прежде всего определим сигнал ошибки

и

где Подстрочным индексом I отмечено то обстоятельство, что мы производим оценку на интервале. Теперь случайная величина. Нас интересует ее математическое ожидание:

Учитывая ортогональность собственных функций, имеем

Нам необходимо найти нижнюю границу суммы, стоящей в правой части (70). Рассмотрим сначала сумму а затем положим . Задача отыскания границы среднеквадратической ошибки при оценке К случайных величин знакома нам по гл. 4.

Из материалов гл. 4 известно, что прежде всего необходимо написать информационную матрицу где

и

После отыскания матрицы мы производим ее обращение с тем, чтобы получить Далее при изложении этой главы мы все время будем иметь дело с Поэтому для удобства подстрочный индекс опустим. Выражение для представляет собой векторный аналог выражения (4.217)

или, если выразить через

Из (19) и (20) следует

Складывая (726) и (72в) и дифференцируя сумму по получим

Дифференцируя по и включая знаки минус, имеем

+ члены с нулевым математическим ожиданием.

Из (73) видно, что эффективная оценка будет существовать только тогда, когда модуляция линейна (см. стр. 94).

Для интерпретации первого члена вспомним, что

Так как мы используем только К членов, то определим

Форма записи первого члена в (73) предполагает задание

Заметим, что

И на этот раз оказывается обратным ядром, но поскольку сообщение не содержит компоненты белого шума, предела суммы в (76) при вообще не будет существовать. Поэтому необходимо исключить из нашего решения, прежде чем полагать Первый член можно записать в виде

так что если определить

то можно записать элементы матрицы в виде

Теперь найдем обратную матрицу -Можно показать (см. задачу 5.3.6), что

где функция удовлетворяет уравнению к

(Напомним, что надстрочными индексами обозначаются элементы матрицы Теперь необходимо придать (82) более удобный вид.

Если обозначить производную от по через то

Аналогично

Поэтому

Подставляя (84) в (82), умножая на интегрируя по и полагая получим следующее интегральное уравнение для

Из (2.292) известно, что диагональные элементы являются нижними границами среднеквадратических ошибок. Поэтому

Используя (81) в (86а), а результат в (70), имеем

или, используя (3.128),

Следовательно, для того чтобы найти нижнюю границу, необходимо решить (85) для и оценить ее поведение. По аналогии с классическим случаем называют информационным ядром.

Теперь можно интерпретировать результат (85). Сначала рассмот рим случай, когда присутствует только компонента белого шума, так что

Тогда (85) принимает вид

Все последующие вычисления значительно упрощаются, если величина постоянная. Достаточное, но не необходимое условие ее постоянства заключается в том, чтобы функция была выборочной функцией стационарного процесса. Мы часто встречаемся с задачами оценки, когда можно аппроксимировать постоянной величиной, не требуя стационарности Такая ситуация возникает, например, когда передаваемый сигнал является полосовым колебанием, спектр которого симметричен относительно несущей частоты например, при фазовой модуляции

Тогда

и

Полагая имеем

Предполагается, что содержащиеся в частоты низки по сравнению с Чтобы получить приближенное выражение, зафиксируем в (89). Тогда (89) можно представить как линейную систему с изменяющимися во времени параметрами, показанную на рис. 5.10. Входом ее служит функция .

Рис. 5.10. Интерпретация линейной системы.

Так как соответствует фильтру нижних частот, а функция нижних частот (с ограниченным сверху спектром), то, как нетрудно заметить, также должна быть функцией нижних частот и членом с удвоенной частотой в выражении для можно пренебречь. Поэтому для решения интегрального уравнения можно сделать аппроксимацию

Функция является просто стационарной компонентой данном примере она является низкочастотной компонентой. [Заметим, что когда процесс является стационарным,

. В тех случаях, когда справедливо (94), интегральное уравнение (89) обращается в

Решение этого уравнения дает требуемую функцию. С математической точки зрения (95) являетея вполне адекватным окончательным результатом.

Можно, однако, получить весьма полезную физическую интерпретацию этого результата, если заметить, что (95) знакомо нам в другом контексте. Напомним следующую задачу линейной фильтрации (см. гл. 3, стр. 235)

где то же самое, что и наше сообщение, выборочная функция процесса белого шума (с двухсторонним спектром плотностью Требуется построить линейный фильтр выход которого был бы оценкой минимизирующей среднеквадратическую ошибку. Это как раз та задача, которая была решена в гл. 3. Уравнение, определяющее фильтр имеет вид

где спектральная плотность белого шума. Если положить

то

Ошибка в задаче линейной фильтрации равна

Наша граница для задачи нелинейной модуляции соответствует среднеквадратической ошибке в задаче линейной фильтрации, за исключением лишь того, что уровень шума снижается в раз.

Величина может быть больше или меньше единицы. Из примеров 1 и 2 будет видно, что в случае линейной модуляции можно увеличивать только путем увеличения мощности передачи. В примере 3 будет показано, что при нелинейном методе модуляции, как,

например, фазовая модуляция, можно увеличить посредством повышения индекса модуляции. Этот результат соответствует общеизвестному выигрышу, даваемому фазовой модуляцией.

Нетрудно привести аналогичную интерпретацию для случая коррелированного шума. Прежде всего введем эффективный шум, обратное ядро которого равно

Его ковариационная функция удовлетворяет уравнению

Тогда можно показать, что

где также является решением уравнения

Это и есть аналог (95) для случая коррелированного шума.

В двух важных частных случаях получаются более простые выражения.

Случай 1. . Заметим, что когда является функцией только разности двух своих аргументов, то

Тогда (87) переходит в соотношение

Если ввести функцию

то

Дальнейшего упрощения можно достигнуть, когда интервал наблюдения охватывает бесконечное прошлое и будущее.

Случай 2. Стационарные процессы на бесконечном интервале.

В данном случае предполагается, что

Тогда

Преобразование имеет вид

Тогда из (82) и (85) следует, что

(символом обозначена операция свертки) и результирующая ошибка равна

Проиллюстрируем несколькими простыми примерами применение этого граничного выражения.

Пример 1. Предположим, что применим случай 2. Кроме этого, допустим, что

Так как модуляция является линейной, то эффективная оценка существует. Несущая отсутствует, поэтому и

Подставляя (119) в (117), получаем

Выражение в правой части (120), как будет показано в гл. 6, оказывается минимальной среднеквадратической ошибкой для приемника с нереализуемым линейным фильтром. Таким образом, как и следовало ожидать, эффективная оценка получается путем обработки при помощи линейного фильтра.

В качестве второго примера приведем линейную модуляцию синусоидального колебания.

Пример 2. Предположим, что применим случай 2 и что несущая модулируется по амплитуде сообщением, т. е.

где верхняя граничная частота спектра значительно ниже Производная равна

Ради простоты допустим, что шум имеет равномерный спектр, ширина которого много больше ширины спектра Отсюда следует, что

Можно убедиться, что оценку с такой ошибкой можно получить путем умножения и пропускания результата через такой же линейный фильтр, что и в примере 1. Таким образом, и на этот раз эффективная оценка существует и получают ее, используя в приемнике линейную систему.

Пример 3. Рассмотрим фазомодулированное синусоидальное колебание на фоне аддитивного белого шума. Предположим, что стационарный процесс. Таким образом,

и

Используя далее (92), видим, что

По аналогии с примером 2 получим

При линейной модуляции ошибка является функцией только спектра сообщения, мощности передачи и уровня белого шума. При данном спектре и уровне шума единственным способом уменьшения среднеквадратической ошибки является повышение передаваемой мощности. В нелинейном случае мы видим, что границу среднеквадратической ошибки можно снизить путем увеличения индекса модуляции Позднее будет показано, что по мере увеличения среднеквадратическая ошибка оценки по максимуму апостериорной вероятности приближается к границе, определяемой (128). Таким образом, оценка по

максимуму апостериорной вероятности является асимптотически эффективной. С другой стороны, если велико, понижается, то любая схема оценки будет обнаруживать явление «порога». В точке, соответствующей порогу, ошибка оценки быстро возрастает и граничное выражение становится бесполезным. Этот результат имеет прямую аналогию с результатом, полученным при оценке параметра (пример 2, § 4.2.3). Напомним, что если пытаться сделать (3 чрезмерно большим, то результат, получаемый при рассмотрении локальной задачи оценки, не имеет смысла. В гл. 2 второй части, где нелинейная модуляция будет обсуждаться более подробно, будет показано, что имеет место аналогичное явление. Мы увидим, также, что при больших отношениях сигнал/шум среднеквадратическая ошибка стремится к значению, определяемому граничным выражением.

Главные результаты данного параграфа сводятся к уравнениям (85), (95) и (97). Первое из них определяет матрицу обратную информационному ядру. След матрицы обратного ядра обеспечивает нижнюю границу интервальной среднеквадратической ошибки при оценке непрерывных сигналов. Это является обобщением классического неравенства Крамера — Рао на случайные процессы. Уравнение (95) есть частный случай уравнения (85), которое справедливо, когда аддитивный шум является белым, а компонента оказывающая влияние на интегральное уравнение, является стационарной. Уравнение (97) показывает, в какой мере граница среднеквадратической ошибки при интервальной оценке в нелинейной системе совпадает с действительной среднеквадратической ошибкой интервальной оценки в линейной системе, уровень белого шума которой делится на

При рассмотрении обнаружения и оценки мы видели, что приемнику часто приходится обрабатывать несколько входных процессов. Аналогичные ситуации встречаются в задаче оценки сигналов.