7.6. Методы инструментальных переменных

Инструментальные переменные. Рассмотрим снова линейную регрессионную модель (7.31):

Напомним, что эта модель включает в себя несколько типичных моделей линейных и нелинейных систем. Оценка 0 методом наименьших квадратов задается соотношением (7.34) и может также быть выражена в виде

Следовательно, альтернативная интерпретация оценки МНК состоит в том, что она соответствует (7.96) с

Предположим теперь, что данные действительно описываются соотношением (7.37):

В разделе 7.3 было обнаружено, что в типичных случаях оценка МНК не будет стремиться к из-за корреляции между Попробуем тогда применить общий корреляционный вектор в (7.101). Следуя общепринятой терминологии в области идентификации систем, будем называть такое применение (7.96) к линейной регрессии методом инструментальных переменных. Компоненты вектора называют при этом инструментами или инструментальными переменными. Отсюда

или

при условии, что указанные обратные матрицы существуют. Для того, чтобы сходилась к при как видно из (7.103), достаточно, чтобы стремилась к нулю. Для успешного применения метода (7.103) к системе (7.102) нужно, таким образом, потребовать выполнения следующих свойств инструментальной переменной (заменяя выборочные средние математическими ожиданиями)

Другими словами, инструментальные переменные должны коррелировать с регрессионными переменными, но не должны коррелировать с шумом. Обсудим теперь возможные варианты выбора инструментальных переменных, которые могли бы удовлетворить (7.105) и (7.106).

Выбор инструментальных переменных. Предположим, что (7.100) является ARX-моделью:

Допустим также, что истинное описание (7.102) соответствует (7.107) с нулевыми индексами у коэффициентов. Естественная идея состоит в генерации инструментальных переменных аналогично (7.107) так, чтобы обеспечить (7.105), но в то же время не позволить им быть зависимыми с Это приводит к

где К - линейный фильтр, а порождается входной последовательностью, пропущенной через линейную систему:

Здесь

Большинство исиользуемых на практике инструментальных переменных формируются таким способом. Очевидно, получается из прошлых входных величин посредством линейной фильтрации и, в принципе, может быть записана как

Если входная последовательность генерируется в разомкнутой цепи так, что она не зависит от шума присутствующего в системе, то, очевидно, (7.106) выполняется. Поскольку векторы формируются из одной и той же последовательности зависит, кроме того, от можно ожидать, что условие (7.105) тоже, вообще говоря, должно выполняться. Мы вернемся к этому вопросу в разделе 8.6.

Простой напрашивающийся выбор инструментальных переменных состоит в первоначальном применении МНК к (7.107) с последующим использованием оцененной модели для в (7.109). Тогда инструментальные переменные выбираются в соответствии с (7.108) при Для систем с замкнутой обратной связью и для автономных систем требуются другие идеи. Некоторые намеки содержатся в задаче

В задачу вынесено утверждение о том, что использование инструментального вектора эквивалентно применению вектора

Таким образом, оценка метода инструментальных переменных (7.104) является для такой же, как и для и не зависит, например, от фильтра (7.110).

Инструментальные переменные, зависящие от модели Качество оценки зависит от выбора . В разделе 9.5 будет приведен вывод общих выражений асимптотической матрицы ковариаций а дальнейшее их исследование будет проведено в разделе 15.3. Оказывается, может быть желательным выбор фильтра (7.109), равного фильтру истинной системы: . Понятно, что эти полиномы не известны, но можно допустить зависимость инструментальных переменных от параметров следующим образом:

Вообще, можно записать закон генерации в виде

где — -мерный вектор-столбец линейных фильтров.

Таким образом, учитывая предварительный фильтр (7.96а) и формирующую функцию ошибок предсказания, метод инструментальных переменных может быть подытожен в следующем виде:

где

Расширенные методы инструментальных переменных. До сих пор в этом разделе размерность была равна Можно также работать с расширенными векторами инструментальных переменных размерности Получающийся в результате метод, соответствующий (7.96) и (7.97), будем называть расширенным методом инструментальных переменных; он дает оценку

Нижний индекс обозначает соответствующую норму:

В случае, когда не зависит от может быть найдено точное решение (7.116). См. задачу 7D.7.

Частотная интерпретация. Критерий полностью аналогичный соотношениям для случая ошибки предсказания, может быть выражен в частотной области с помощью равенства Нарсеваля. Предположим, что используется линейная генерация инструментальных переменных (7.114), и Тогда

Здесь полином А, соответствующий 0 в модели (7.107).

Многомерный случай Предположим теперь, что выходная переменная -мерная. Тогда инструментальная переменная -матрица. Линейную генерацию по-прежнему можно записать в виде (7.114), интерпретируя столбец как

где -матричный фильтр. в (7.114) представляет собой, таким образом, тензор, трехиндексное образование.) Если функция из -матричный фильтр, то метод инструментальных переменных по-прежнему задается соотношениями (7.115).