6.6. Линейные оценки с минимальной среднеквадратической ошибкой

В данном параграфе будет изложен способ оценивания, не требующий знания полных вероятностных характеристик наблюдаемого процесса и оцениваемого параметра. Однако это будет достигнуто путем введения следующего ограничения: оптимальная оценка должна быть найдена в классе оценок, являющихся взвешенными линейными комбинациями элементов выборки. В следующем параграфе будет обсуждаться еще один метод оценивания, для применения которого вообще не требуется знать вероятностные характеристики ни шума, ни оцениваемого параметра.

Сначала рассмотрим следующую модель наблюдаемого процесса:

,    .               (6.139)

Здесь процессы  и  являются векторами с  компонентами;  - модуляционная матрица размера ;  - векторный случайный параметр, значения которого необходимо оценить. Пока будем предполагать, что шум  имеет среднее значение, равное нулю, и ковариационную матрицу

                   (6.140)

и не обязательно является нормальным. Предположим далее, что функция распределения векторного параметра  неизвестна; однако первые два момента этого распределения

;                (6.141)

всегда будем считать известными.

Наилучшая оценка параметра  должна быть найдена в классе несмещенных линейных оценок, для которых справедливо представление

.                     (6.142)

Оптимальной в этом классе будем называть оценку, для которой след ковариационной матрицы вектора ошибок

    (6.143)

минимален. Такую оценку в дальнейшем будем называть линейной оценкой с минимальной дисперсией и обозначать символом . Можно также показать, что алгоритм вычисления значений оценки , которая обеспечивает минимально возможное значение для , не зависит от неотрицательно-определенной весовой матрицы . Сначала здесь будет решена задача оценивания для модели с непрерывным временем, а затем будут приведены результаты для дискретного времени. Важнейшим результатом данного параграфа является лемма об ортогональном проецировании, которая служит отправной точкой многих исследований в следующих двух главах.

Простейшее требование, которое должно быть выполнено, состоит в том, чтобы искомая оптимальная оценка была несмещенной. Вычисляя математические ожидания от левой и правой частей равенства (6.142), получим

.    (6.144)

Отсюда следует, что для несмещенной оценки должно выполняться равенство . Подставляя полученное выражение для  в (6.142), получаем новую запись для линейной несмещенной оценки:

.    (6.145)

Чтобы найти линейную оценку с минимальной дисперсией, необходимо минимизировать значение следа

.

Для решения этой задачи используем методы вариационного исчисления [202, 223]. Пусть

,              (6.146)

где  — оптимальная весовая функция, а  — произвольная функция. Очевидно, что если

,                   (6.147)

то это равенство будет справедливо при любой функции . То есть для любой функции  должно быть справедливым равенство

   (6.148)

Это будет действительно так, если

,

или, что эквивалентно, для любого такого, что

,         (6.149)

или

,                                (6.150)

где  — оптимальная оценка, имеющая вид (6.145) при . Уравнение (6.150) легко выводится из (6.149), если раскрыть выражение для  воспользовавшись представлением . Действительно, в этом случае

.

Следовательно, если справедливо равенство (6 149), то необходимо справедливо и равенство (6 150).

Уравнение (6.149) часто записывается в интегральной форме. Эту запись можно получить, если в (6.149) изменить порядок следования символов под знаками ковариации, а затем в получившееся уравнение подставить выражение (6.145), положив . В результате приходим к уравнению

,    (6.151)

где . Уравнения (6.149) и (6.151) известны как уравнения Винера—Хопфа. Таким образом, чтобы отыскать оптимальную весовую функцию, необходимо решить эти интегральные уравнения. Подобная задача обычно чрезвычайно трудна почти для всех случаев, за исключением лишь некоторых тривиальных.

Если обе части ур-ния (6.149) умножить на  и проинтегрировать по переменной  в пределах от  до , то получим основное равенство леммы об ортогональном проецировании:

,    (6.152)

которое чаще записывается в виде

.                                       (6.153)

Согласно этой чрезвычайно важной лемме оптимальная линейная оценка с минимальной дисперсией ортогональна вектору ошибок оценивания. Заметим, что явных выражений для  здесь пока не получено. Главная цель проводимых здесь рассуждений состояла в том, чтобы сформулировать утверждение леммы об ортогональном проецировании, которое записано в форме равенств (6.152) и (6.153).

Способы получения явных выражений для весовой функции  будут описаны в гл. 7.

Пример 6.14. Линейные задачи § 6.2, 6.3 и 6.5 можно теперь решить с использованием леммы об ортогональном проецировании или уравнения Винера — Хопфа. Нелинейные модели, рассматривавшиеся в § 6.2 и 6.3, такими способами проанализировать нельзя. Проблема нелинейного оценивания с минимальной среднеквадратической ошибкой будет основательно изучена в гл 9.

Здесь приведем решение задачи, уже рассмотренной в примере 6.1 Условия этого примера сохраним неизменными и предположим, что . Такая оценка является частным случаем оценки (6.145) Далее матрицу  необходимо подобрать так, чтобы математическое ожидание проекции оценки на вектор ошибок оценивания было равно нулю. Равенство (6.153) для рассматриваемого здесь случая принимает вид . Раскрывая обозначение, стоящее в левой части этого равенства, получаем

или

.

Таким образом, в условиях примера 6.1 для матрицы  имеем уравнение

.

Решение этого уравнения имеет вид

.

Итак, оптимальная оценка с минимальной дисперсией

.

Это выражение для оценки получено в результате прямого применения леммы об обращении матриц. Оно совпадает с выражением, полученным в примере 6.1.

Эти же результаты могут быть получены в несколько иной форме. Будем считать, что случайные векторы  и  имеют нулевые средние значения, но могут быть коррелированными. Согласно лемме об ортогональном проецировании для оптимальной оценки должно выполняться равенство  и если оценка , то получаем

.

Таким образом,

.

Если средние значения рассматривающихся здесь случайных векторов не равны нулю, то нетрудно показать, что

.

Вернемся снова к исходной модели наблюдаемого процесса

.                                   (6.154)

Попытаемся теперь оценить значение процесса  в момент времени  по реализации процесса , полученной для всех . При этом моменты времени  и  будем считать либо фиксированными, либо текущими. Для этого выберем несмещенную линейную оценку

,    (6.155)

где  обозначает линейную оценку для значения  в момент времени  по результатам наблюдений вплоть до момента . Будем предполагать, что  и  — случайные процессы, которые в общем случае могут быть зависимыми. Задача состоит в том, чтобы минимизировать значение следа

.        (6.156)

Эту задачу минимизации можно решить тем же способом, который уже привел к ур-ниям (6.150) — (6.153). В результате приходим еще к одному варианту записи утверждения леммы об ортогональном проецировании: для любого , такого, что ,

                           (6.157)

или

,                                                  (6.158)

где .

Выписанное здесь уравнение является уравнением Винера—Хопфа. Другой вариант записи этой же леммы

.                          (6.159)

Равенство должно иметь место для всех значений  и . Здесь

                  (6.160)

обозначает ошибку оценивания. Именно эта формулировка леммы об ортогональном проецировании является достаточно общей, и постоянно будет использоваться в дальнейшем при обсуждении проблем предсказания, фильтрации и некоторых задач сглаживания. Отметим также, что не является принципиальным тот факт, что лемма сформулирована для случая с непрерывным временем. Точно также можно было бы рассмотреть задачу фильтрации процесса с дискретным временем. В этом случае задача оптимизации сводится к решению уравнения

,    (6.161)

где , которое является дискретным аналогом уравнения Винера—Хопфа. Здесь

.    (6.162)

Лемма об ортогональном проецировании при дискретном времени записывается в виде

.           (6.163)

Интересно и важно отметить также, что ошибка оценивания здесь снова ортогональна наблюдаемому процессу, поскольку из ур-ния (6.161) следует, что

,    .    (6.164)

Подчеркнем в заключение, что, хотя уравнение Винера—Хопфа и лемма об ортогональном проецировании для общего случая получены легко, решение этих уравнений не является столь же простой задачей. Возможные способы решения таких уравнений достаточно подробно будут обсуждаться в следующих двух главах.