9.3. Выражения асимптотической дисперсии

В этом разделе будем рассматривать асимптотическую матрицу ковариаций оценок метода ошибки предсказания в случае, когда истинное описание системы по существу содержится в множестве моделей.

квадратичный критерий. Предположим, что выполняются условия теоремы 8.3. Тогда последовательность независимых случайных величин с нулевыми средними значениями и дисперсиями Из (9.6) и (9.9) имеем

поскольку белый шум (см. также задачу 9D.1). Аналогично,

Последнее равенство вытекает из того факта, что формируется только из Следовательно, из (9.11) получаем

Этот результат имеет естественную интерпретацию. Так как градиент, видно, что асимптотическая точность оценивания определенного параметра связана с тем,

насколько чувствительно предсказание относительно этого параметра. Ясно, что чем больше параметр влияет на предсказание, тем легче будет определить его величину. Очень важной и полезной стороной выражений асимптотической матрицы ковариаций типа (9.17) является возможность оценивания ее по наблюдениям. Имея обработанные данные в точках и вычисленную оценку можно использовать

как оценку Относительно случая, когда почти принадлежит множеству моделей см. задачу 9 G.3.

Пример 9.1. Ковариации оценок Рассмотрим систему

Входная последовательность белый шум с дисперсией I, не зависящий от последовательности которая также является белым шумом и имеет дисперсию Допустим, что коэффициент при и известен, а идентификация системы производится с помощью структуры модели

или

используя квадратичный критерий ошибки предсказания.

Таким образом, этом случае получаем оценку МНК (7.34). Имеем

Следовательно,

Чтобы вычислить ковариации, возводим обе части равенства (9.20) в квадрат и берем математическое ожидание. Это дает

при стандартных обозначениях (2.61). (Здесь использовано соотношение (8.27) для вычисления Умножая (9.20) на и переходя к математическому ожиданию, получаем

где последнее равенство вытекает из того, что и не на (благодаря временной задержке). Следовательно,

и

Пример 9.2. Ковариация параметра.

Рассмотрим систему

белый шум с дисперсией Используем структуру модели

приводящую к предсказателю (4 18):

Дифференцирование дает

При имеем

Если оценка параметра с, полученная по методу ошибки предсказания, то в соответствии с (9,17) имеем

Общая критериальная функция не зависящая от . Рассмотрим теперь общий критерий (9.12) с (нет явной зависимости от Предположим, что Тогда, при условии из (9.13) и (9.14) непосредственными вычислениями находим

Здесь первая и вторая производные от относительно ее аргумента.

Очевидно, для квадратичной функции Это подтверждает (9.17) как частный случай (9.29) и (9.30). Интересно отметить, что выбор в критерии влияет только на масштабирование матрицы ковариаций.

Асимптотическая граница Крамера-Рао. Граница Крамера-Рао (7.79) применяется для произвольной несмещенной оценки и любого Она может быть переписана в виде

Обозначая плотность распределения вероятностей через , можно убедиться, что

где определяется соотношением (7.76), а функция формулой (9.30). Таким образом, асимптотическая матрица ковариаций равна пределу (при ) границы Крамера-Рао, если выбрана как . В этом случае оценка метода ошибки предсказания (совпадающая при таком выборе с оценкой метода максимального правдоподобия) имеет наилучшие возможные асимптотические свойства, на которые только можно надеяться.

Квадратичный критерий, параметризованы независимо Вернемся теперь к случаю теоремы 8.4, когда параметризованы независимо, может точно описываться моделью, что не обязательно выполняется для .

Предположим, что выполняются все условия теоремы 8,4 и, кроме того,

и

Положим

где предельная и истинная (в соответствии с модели шума. Тогда имеем

и

Более того, если то

Поскольку независимы, вне диагональные блоки матрицы (9.37) будут нулевыми (блоки, соответствующие декомпозиции в на Аналогично, будет блочно-диагональной и, следовательно, такой же вид будет иметь Сосредоточим теперь внимание на блоке, соответствующем Обозначим

представляющую собой детерминированную величину (не зависящую от Здесь градиент относительно Тогда

Определим

Тогда

Аналогично, для верхнего левого блока (9.37)

Теперь можно сформулировать результат:

В предположениях теоремы 8.4 и (9.33)

где

Оценки и асимптотически не коррелируют.

Этот результат можно распространить на более общие нормы аналогично случаю

Очевидно, когда а значит этот результат совпадает с (9.17).

Пример 9.3. Ковариации оценки по ошибке на выходе,

Рассмотрим опять систему (9.20), на этот раз вместе с моделью структуры

или

Это - модель с ошибкой на выходе. Очевидно, даст правильное описание передаточной функции, в то время как свойства шума (9 20) не могут быть верно описаны моделью (9.43), поскольку

Таким образом, в этой ситуации можно применить результат (9.42). Находим, что

при вычислении в точке Для (9.34) имеем

Следовательно,

Спектры имеют вид

откуда могут быть вычислены дисперсии, как в Приложении Это даст выражения

и, таким образом, в соответствии с (9.42) дисперсия

Многомерный случай Рассмотрим случай, когда -мерный вектор, а

Формулы (9.9) - (9.14) по-прежнему применимы. Предполагая получим, что последовательность независимых векторов с нулевыми средними, а непосредственные вычисления дают

Здесь -матрица -матрицы:

Для квадратичного критерия (7.27),

находим, что

и

где

Если матрицу весов в критерии выбрать равной из (9.47) получим

См. также задачу и обсуждение в разделе 15.2.