10.6. Заключение

Определение оценок параметров по данным наблюдений имеет два аспекта. Первый состоит в необходимости охарактеризовать отыскиваемую оценку либо как решение некоторого уравнения, либо как аргумент, минимизирующий некоторую функцию. Второй аспект связан с необходимостью формирования численного метода, вычисляющего эту оценку. Важно различать эти два вопроса. Комбинация нескольких различных подходов к характеризации требуемой оценки со многими способами ее действительного вычисления приводит к широкому, подчас беспорядочному разнообразию методов идентификации. Целью этой главы, как и главы 7, было показать основополагающие идеи.

Для задач оценивания параметров линейной регрессии (МНК или методом инструментальных переменных) были рекомендованы методы типа -факторизации (10.12), а также указывалось на возможности использования метода Левинсона и/или решетчатых методов и (10.31), (10.33) соответственно) для специальных структур.

Для общего метода ошибки предсказания в качестве основного был рекомендован итеративный метод Гаусса-Ньютона с затуханием (10.41), (10.42) и (10.47), дополненный процедурой (10.75) определения начальных значений параметров моделей черного ящика.

10.7. Комментарии к библиографии

Алгоритмы вычисления оценок являются темой многих статей и книг по идентификации систем. Основные методы также являются предметом многих исследований но численному анализу.

Для линейной задачи наименьших квадратов, описанной в разделе 10.1, прекрасный обзор дан в книге Лоусона и Хансона [228]. Алгоритм Левинсона и его разветвления представлены, например, в работе Кайлата [197]. Первые применения алгоритма Левинсона в задачах оценивания изложены Дурбином [106]. В связи с этим алгоритм с оцениваемой матрицей иногда называют алгоритмом Левинсона-Дурбина. Многомерный алгоритм Левинсона представлен в работах Уиттла [431] и Уиггинса и Робинсон [436]. Алгоритм Левинсона для ковариационного метода (для которого не является матрицей Теплица, но отличается от ее структуры немного) был разработан Морфом и др. [299]. Эти идеи восходят к работе Морфа [297]. Общие методы решения линейных уравнений с матричными коэффициентами, близкими к структуре матриц Теплица, изложены в работах Фридландера и др. [125] и С. Льюнга и Льюнга [266], Алгоритм Левинсона широко применялся в геофизике (например, [344, 68]) и в обработке речевой информации (нанример, [277]), в то время как в приложениях по управлению он использовался меньше. Его численные свойства исследованы Цыбенко [88].

Решетчатые фильтры широко обсуждались в работах Маркела и Грея [277], Хонига и Мессершмидта [181] и Рабинераи Шафера [331], а также в работах, упомянутых в тексте. Вопросы численной устойчивости вычислений коэффициентов отражения в (10.31) и (10.33) исследовалась Цыбенко [89]. Значительное внимание уделялось процедурам рекуррентного пересчета коэффициентов отражения, к которым мы вернемся в гл. 11.

Для методов раздела 10.2 основной ссылкой является книга Денниса и Шнабеля [97]. Эта работа содержит много дополнительных ссылок, а также псевдопрограммы типичных алгоритмов. Варианты методов Ньютона в приложениях по идентификации систем обсуждались, например, в работах Острема и Бохлина [27], Гупта и Мера [152], Кашьяпа и Нэсбурга [209].

Градиенты известны как функции чувствительности или коэффициенты чувствительности. Они изучались также в связи с анализом чувствительности в задачах управления. Простые методы вычисления этих градиентов для моделей в пространстве состояний обсуждались, например, в работах Денери [96] и Неймана и Суда [305], а также в работах Гунта и Мера [152] и Хилла [176]. Использование множителей Лагранжа для уменьшения объема вычислений описано Кашьяпом [208] и Ванзэ и Босгра [454]. Другая возможность состоит в применении равенства Парсеваля к в (10.40) и (10.46) и их оценивании в частотной области в терминах преобразования Фурье. См. [162] и [5]. Соответствующие выражения легко следуют из (7.25) и (9.53). Специальный метод максимизации функций правдоподобия, ЕМ-алгоритм, был разработан Дэмпстером, Лейрдом и Рубином [95]. См. задачу

Кроме ссылок, упомянутых в тексте, неединственность решений поставленной задачи идентификации изучалась в работах Стойка и Седерстрема [393], [394] (упрощенное доказательство в случае ARMA-модели и случай многомерной МА-модели соответственно) и [373] (дальнейшие результаты для модели с ошибкой на выходе ; для -шаговых моделей, основанных на ARMA-описаниях, этот вопрос рассматривался в [397]. Последствия возможного отсутствия единственности минимума обсуждались Бохлином [54, 55].

Анализ методов бутстрепа выполнен Стойкой и Седерстремом [390] и Стойкой, Седерстремом, Аленом и Солбрандом [402].

Двух- и многоэтапные методы обсуждались во многих вариантах. Кроме методов, оиисанных в разделе 10.4, хорошо известны, например, методы Дурбина [105] и Уолкера [419]. Оба метода начинают с оценивания AR-модели высокого порядка. Коэффициенты этих моделей (соответствующие ковариационные функции в случае алгоритма Уолкера) приводят к системе уравнений для определения параметров скользящего среднего. См. также книгу Андерсона [14], раздел 5.7.2.

10.8. Задачи

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)