II.2. Статистические свойства оценки наименьших квадратов

Вероятностная структура. Чтобы получить дальнейшие результаты относительно свойств оценки наименьших квадратов, введем несколько более специфичные предположения о генерации наблюдений у. Обычно это следующие предположения:

- последовательность регрессоров является детерминированной; (11.45)

- , где последовательность независимых случайных величин с нулевыми средними значениями и дисперсией

Сразу укажем на существенную ограничительность предположения (11.45) для большинства приложений к идентификации систем, поскольку в этом случае регрессоры обычно содержат прошлые значения выходной величины. Это означает, что анализ не будет применим к методам идентификации систем. Однако (11.45) сильно облегчает анализ, в то же время результаты являются прототипом тех, которые имеют место в общем случае. Содержание данного раздела может, следовательно, рассматриваться как упрощенное предварительное изложение материала гл. 8 и 9.

В этом разделе предположение (11.46) будет несколько ослаблено. Будут допускаться более общие возмущения также иногда будет предполагаться, что истинная функция регрессии не соответствует данной линейной модели. Таким образом, будем рассматривать описание

где

В матричной форме, используя

имеем

Часто будет рассматриваться

и

Сходимость и состоятельность. Рассмотрим случай (11.10) (т.е. Тогда, если имеет место (11.50), то можно аналогично (11.43) записать

Первая сумма состоит из детерминированных величин. Допустим, что она сходится к обратимой матрице

Вторая сумма состоит из случайных величин с нулевыми средними значениями, причем выполняются предположения Различные варианты усиленного закона больших чисел описывают условия, при которых такие суммы сходятся к нулю с вероятностью 1. Это будет зависеть от свойств Подробное изложение таких результатов см., например, в [78] и [160]. Теорема 2.3 показывает, что

если последовательность может быть описана как профильтрованный белый шум аналогично (2.86) и ограниченная последовательность. При выполнении (11.53) и (11.54) имеем

Это означает, что сильно состоятельная оценка

Смещение и дисперсия. Рассмотрим общую оценку взвешенных наименьших квадратов

Так как и детерминированные, легко вычислить математическое ожидание (11.56):

При выполнении (11.50) имеем

Это равенство означает, что оценки являются несмещенными при истинном описании (11.50).

Для отклонения оценки параметра от среднего получаем из (11.56), (11.57) и

откуда получаем матрицу ковариаций

Отметим, что это выполняется, независимо от формы

Для оценки невзвешенных наименьших квадратов и независимых возмущений, случай находим, что

Матрица ковариации оценки определяется, таким образом, дисперсией невязок и свойствами регрессоров. Если можно менять в процессе сбора данных, появляется важная возможность планирования эксперимента с целью уменьшения обратной матрицы в (11.61) с учетом имеющихся ограничений.

Отметим, что дня вычисления требуется знать Поскольку эта величина может быть не известна пользователю, важно оценивать ее по данным.

Оценивание дисперсии шума. Имеем следующий результат:

Лемма 11.1. Пусть задан критерий и допустим, что выполняются соотношения

является несмещенной оценкой (Напомним, что Доказательство. Имеем

Заметим, что Значит,

Далее

Напомним, что -матрица, а -матрица. Здесь использовано равенство

Таким образом,

и лемма доказана.

Отметим важность обоих предположений (11.50) и (11.51) для справедливости этого результата. Оценить всю матрицу ковариаций по данным не представляется возможным. Аналогично, если истинное описание имеет общую форму оценка будет содержать член

который не будет стремиться к нулю. Это приводит к систематическому завышению оценкой Лдгвеличины и в результате уровень шума переоценивается. Такая ситуация свидетельствует о наличии типичной дилеммы во многих приложениях: отличать шумовые эффекты от эффектов смещения.

Минимизация дисперсии. Из (11.60) видно, что дисперсия зависит от выбора нормы Возникает вопрос о наилучшем выборе в смысле малости матрицы ковариации. На него отвечает следующая лемма:

Лемма 11.2. Пусть положительно определенная матрица. Определим

Тогда для любой симметрической, положительно полуопределенной матрицы

Доказательство. Матрица

положительно гюлуопредслена но построению. Значит, в соответствии с задачей

Обращение обеих частей этого неравенства доказьюает лемму.

Оценка (11.24), получающаяся при известна также как оценка Маркова или наилучшая линейная несмещенная оценка. Заметим, что для ее реализации требуется знать матрицу что, как правило, не реально.

В случае независимых шумов в с различными дисперсиями,

лемма утверждает, что дисперсия оценки минимизируется, если критерий (11.19) используется с

Другими словами, наблюдения должны быть взвешены обратно пропорционально их дисперсиям. Такой выбор весов является, следовательно, оптимальным в смысле Заметим, однако, что если не выполняется, веса также будут влиять на смещение оценки а это может привести к противоречию с (11.65).

Распределение оценок. Оценки параметров соответственно являются случайными величинами, поскольку они формируются по случайным величинам Таким образом, интересно определить их распределение. Дня того чтобы это сделать, введем следующее дополнительное предположение:

вектор возмущений имеет гауссово распределение.

Это предположение приводит к гауссовости распределения со средним значением и дисперсией

Так как в (11.56) является линейной комбинацией величин оценка также будет гауссовой:

где задаются соотношениями (11.57) и соответственно. Это отвечает на вопрос о распределении при условии

Даже если наблюдения не являются нормально распределенными, часто случается, что распределение оценки приближается к нормальному распределению при стремящемся к бесконечности. Это следует из центральной предельной теоремы при ее применении к сумме случайных величин, формирующих оценку. См. задачу 11.3.

Определить распределение в несколько сложнее. Рассмотрим опять частный случай и (11.51), и пусть определяется соотношением Тогда

Теперь из (11.51) и (11.66) следует, является последовательностью независимых гауссовских величин с дисперсией Следовательно,

Другими словами, левая часть этого соотношения имеет -распределение с N степенями свободы, чтол непосредственно следует из определения спределения. Если заменить на получим соответствующий результат:

Лемма 11.3. Предположим, что выполняются соотношения (11-49) — и Тогда

Доказательство. Сравните с доказательством леммы 11.1. Положим

что представляет собой симметрическую -матрицу. Тогда, как и в (11.63), откуда следует, что все собственные значения равны либо 0, либо 1. Поскольку в силу (11.64), находим, что существует собственных значений, равных равных 0. Так как является симметрической, ее можно диагонализовать посредством ортогональной матрицы

где состоит из единиц и пулей по диагонали. Как и при доказательстве леммы 11.1,

где компоненты вектора Но так как компоненты являются независимыми и нормальными, с дисперсией это же справедливо и в отношении в силу ортогональности матрицы Это доказывает лемму.

Из леммы следует, что оценка дисперсии подчиняется соотношению

что обеспечивает равенство

Доверительные интервалы. В случае когда истинный параметр существует, результат по распределению оценки показывает, как распределено отклонение оценки от 60:

компоненты имеем, таким образом,

или

Здесь означает диагональный элемент Следовательно, вероятность того, что отююняется от 0 более, чем на представляет собой -уровень нормального распределения, которое присутствует во всех стандартных таблицах по статистике.

Соотношение (11.68) фактически дает больше, чем распределение вероятностей каждой компоненты .

Рис. II.2. Заштрихованная область:

Поскольку матрица ковариаций совместного распределения вектора мы также имеем полезную информацию о ковариации и корреляции между различными компонентами . Наиболее просто использовать это следующим образом. Из (11.74) имеем

что непосредственно следует из определения -распределения. Вероятность того, что

равна, таким образом, «-уровню -распределения. Выражения (11.77) задают эллипсоиды в поверхности которых определяются матрицей См. рис. 11.2.

В случае выражение для принимает вид (11.61):

В то время как матрица известна пользователю, обычно не известна, что затрудняет использование результатов (11.75) и (11.76). Следует попытаться заменить оценкой В соответствии с (11.73) это является хорошей аппроксимацией при больших а использование предыдущих доверительных границ представляется разумным. По лемме однако, можно достичь более точного результата. Имеем

где последний шаг следует из определения -распределения как распределения отношения двух -распределенных величин. Самое левое выражение доступно пользователю, и, таким образом, вероятность того, что отклоняется от на столько, что

может быть вычислена как -уровень -распределения. Заметим, что стремится к при Следовательно, использование вместо в часто разумно. Аналогично использование вместо в (11.75) заменяет нормальное распределение -распределением Стьюдента.