9.2. Подход, основанный на ошибке предсказания: основная теорема

Эвристический анализ. Рассмотрим, как и ранее,

Тогда, обозначая знаком штрих дифференцирование но 0, получим

Допустим, что множество состоит только из одной точки 0. Разложение предыдущего выражения в ряд Тейлора в окрестности 0 дает

где точка между и 0. Знаем, что с вероятностью 1. С помощью рассуждений, аналогичных лемме 8.2, можно показать, что сходится равномерно но 0 к Тогда

При условии невырожденности этой -матрицы из (9.3) для больших получаем разность

Второй сомножитель задается выражением

где, как обычно,

- -мерный вектор-столбец. По определению

Пренебрегая разностью

которая предполагается сходящейся к нулю быстро, получаем выражение (9.6), представляющее собой, таким образом, сумму случайных величин с нулевыми средними значениями, В случае их независимости отсюда сразу следовало бы по центральной предельной теореме, что

где

Здесь (9.8) означает, что случайная величина, стоящая слева, сходится по распределению к нормальному распределению с нулевым средним и матрицей ковариаций (см. (1.17)). Члены являются независимыми, но в предположениях и (8.5) зависимость между отстоящими друг от друга членами будет убывать. Представляется убедительным, что (9.8) справедливо.

Если (9.8) верно, из (9.5) непосредственно получаем, что

Асимптотическая нормальность. Предыдущий эвристический анализ может быть строго обоснован, как показано в Приложении Результат можно сформулировать следующим образом.

Теорема 9.1. Рассмотрим оценку определенную соотношениями (9.1) и (9.2). Предположим, что структура модели линейная и равномерно устойчива (см. определения 4.3 и 8.3) и что последовательность данных удовлетворяет условию (см. раздел Допустим также, что

для единственной точки 0 внутри и что

определено выражением (9.7). Тогда

где задается соотношениями (9.11) и (9.9).

С помощью более сложной техники этот же результат может быть доказан для ослабленных предположений относительно последовательности данных и структуры модели (см. [258]). Заметим, в частности, что результат остается верным и для общих норм при условии, что достаточно гладкая по и 0. Однако вычисление производных и становится более трудоемким. Для

имеем

где -вектор Аналогично,

с очевидным обозначением вторых производных. При необходимости будем использовать результат асимптотической нормальности в этой общей форме.

Матрица в (9.11) является, таким образом, матрицей ковариаций асимптотического распределения. Когда нас в основном будет интересовать ковариация, будем писать

В Приложении 9. В представлено формальное доказательство (9.15).

Вычисление асимптотической матрицы ковариаций через (9.9), (911), (9.13) и (9.14) в общем случае достаточно сложно. В следующем разделе она будет определена для некоторых частных случаев.