9.6. Использование выражений асимптотической дисперсии

В этой главе было получено несколько выражений асимптотической матрицы ковариаций оцениваемых величин. Теперь возникает вопрос, зачем они нужны? Существуют две основные возможности использования таких результатов. Одна из них состоит в использовании ковариационной матрицы (или определяемой ею величины) как меры качества получаемых оценок. Тогда эти выражения могут использоваться для аналитического или численного исследования того, как различные планируемые величины влияют на результаты идентификации. Этот подход будет широко применяться в части III при обсуждении вопросов выбора пользователем алгоритма и его параметров.

Другое приложение результатов по асимитотической ковариации состоит в вычислении доверительных интервалов для обеспечения надежности конкретных

оценок, получаемых по наблюдаемым данным. Прокомментируем кратко это использование.

Полученные выражения являются асимптотическими по числу наблюдаемых данных Развитая теория не говорит, как велико должно быть для применимости результатов. Важность этого вопроса очевидна. Мы проиллюстрируем его в этом разделе результатами моделирования.

Доверительные интервалы. Если вектор подчиняется условию

то для компоненты

где -диагональный элемент матрицы Это означает, что вероятностное распределение случайной величины сходится к гауссовскому распределению, и можно использовать предел, скажем, для оценки вероятности

Таким способом можно построить доверительные интервалы для истинного параметра; другими словами, можно с определенной степенью точности сказать, что истинная величина должна находиться в таком-то интервале вокруг оценки (при условии выполнения исходных предположений, разумеется).

Еще большее говорит нам векторное выражение (9.87). Если случайный вектор имеет гауссовское распределение

то скаляр

имеет -распределение с степенями свободы:

Из (9.87), таким образом, приходим к выводу, что

Это означает, что сходится по распределению к -распределению при стремлении к бесконечности. Используя таблицы -распределения, можно, таким образом, получить доверительные интервалы для которые соответствуют доверительным. эллипсоидам для (см., также, Приложение II.2).

Оценивание матрицы ковариаций. Для практического использования выражений требуется знание матрицы Обычно выражение для предположении например (9.17), (9.42), (9.79) и (9.84), содержат как так и символ и, как таковые, неизвестны пользователю. Однако нетрудно получить естественные оценки матрицы непосредственно заменяя оценкой и эмпирической суммой, как в (9.18) и (9.19). Тогда при слабо ограничительных условиях по теореме сходится что определенным образом обосновывает применение асимптотических результатов с заменой на (Если имеет в точности гауссовское распределение дня конечного можно провести более изощренные вычисления, включая и -распределение, для получения бопее точных неасимптотических доверительных интервалов. См. Приложение II.2.)

Можно отметить, что нахождение оценки матрицы в более общем случае, когда более затруднительно. Замена 0 оценкой в (9.9) приводит к

тривиальной и бесполезной оценке Заметим, в частности, что даже когда выражения (9.42) и (9.84) содержат фильтр шума который обычно не должен быть известен пользователю.

Обоснование асимптотических выражений для конечных значений. Чтобы исследовать, насколько асимптотические выражения подходят для конечного следует обратиться к статистическому моделированию методом Монте-Карло. В следующем примере будет проведено сравнение эмпирических ковариаций с аналитическим асимптотическим выражением.

Пример 9.7. Оценки метода наименьших квадратов.

Рассмотрим систему

(ту же, что и (9.65), (9.68)). Эта система моделировалась для с использованием случайной двоичной входной последовательности типа белого шума. Моделирование повторялось раз с одинаковой входной последовательностью, но с разными реализациями которые генерировались в виде гауссовского белого шума с нулевым средним и дисперсией При каждой прогонке определялись оценки коэффициентов в модели линейной регрессии

с помощью метода наименьших квадратов (7.34). Оценка в прогонке с номером обозначается

Асимптотическая матрица ковариаций задается выражением (9.17):

где как обычно, вектор регрессии. Граница Крамера - Рао (неасимптотическая) в соответствии с (7.79) равна

Заметим, что эти два выражения отличаются только тем, что является детерминированной последовательностью, на которую не распространяется действие оператора (Если Е применяется также к стационарному процессу то (9.93) и (9.94) совпадают.)

В рассматриваемом случае

что приводит после некоторых вычислений к

Аналогично,

и

Можно заметить, что представляется более реалистичным выражением для использования, поскольку оно основывается на реальной конечной входной последовательности а не на асимптотическом среднем поведении. Разница, однако, важна лишь при малых

Имея результаты различных прогонок, формируем теперь выборочные средние

Тогда для получаем

Сравнивая с (9.95) и (9.96), видим, что теоретические величины достаточно хорошо показывают, чего можно ожидать при практическом моделировании. Очевидно, не следует смотреть слишком пристально на десятичные знаки, поскольку они отражают свойства датчика случайных чисел, использованного при моделировании. (Этот датчик представлен в программном пакете PC-MATLAB.) Можно также отметить, что для более короткой выборки, экспериментальная дисперсия еще больше, чем соответствующая граница Крамера - по сравнению с Это типично. В некоторых приложениях даже проявляется четкий пороговый эффект с резко ухудшающимся качеством оценивания при падении размера выборки ниже определенного уровня. В рассматриваемом примере такой эффект не наблюдается при

Оценка матрицы основанная на прогонке, вычислялась как в (9.18) и (9.19). Выборочное среднее и выборочное стандартное отклонение по 500 прогонкам для дает при

и при

Согласованность полученных при моделировании и теоретических величин очевидна.

Диалогичные статистические исследования методом Монте-Карло для асимптотического выражения (9.84) матрицы ковариаций оценок метода инструментальных переменных для системы (9.91) представлены в [374, табл. 5.1]. Выводы этой работы аналогичны.