Приложение 11А. Техника исследования асимптотики рекуррентных алгоритмов

Методы доказательства сходимости и аналитического определения качества рекуррентно вычисляемых оценок имеют в основном технический характер, а общая теория до сих пор разработана не полностью. Всестороннее изложение представлено в гл. 4 книги Льюнга и Седерстрема [262], а в данном приложении даются основные идеи и рассуждения.

Большинство существующих результатов касается свойств в при стремлении к бесконечности и коэффициента усиления к нулю. Существуют также результаты по асимптотическому распределению при тех же предположениях. Результаты по отслеживанию изменений истинных параметров, когда коэффициент усиления не стремится к нулю, изучали Бенвенисте и Руже [42], Кушнер и Хуанг [224], Вайс и Митра [424], Макки и Эведа [271] и другие.

Структура алгоритма. Все рассматриваемые рекуррентные алгоритмы можно представить в виде

В качестве R можно взять любую положительно определенную матрицу. Однако наиболее часто выбирают матрицу Гаусса — Ньютона

Здесь соответствует или в зависимости от конкретного выбора алгоритма.

В некоторых частных случаях рекуррентный алгоритм ( можно явно разрешить относительно Это имеет место для рекуррентного алгоритма наименьших квадратов (11.16) (см. и для рекуррентного метода инструментальных переменных (11.32) с заданными инструментами (см. В этих случаях анализ можно провести на основе явных выражений. Этот анализ будет при этом совпадать с анализом оценок, вычисляемых поднакопленным данным (см. гл. 8 и 9).

В большинстве случаев явное выражение получить невозможно. Действительно, будет чрезвычайно сложной функцией набора данных частично в результате использования нестационарной фильтрации, зависящей от оценки в Это означает, что определение асимптотических свойств оценки является сложной задачей. В этом приложении мы изучим некоторые особенности поведения процессов а также сформулируем некоторые основные резульг таты по сходимости и асимптотическому распределению По формальным вопросам анализа рекомендуем книгу Льюнга и Седерстрема [262].

Модели ошибки. Рассматривая как величины, определяемые основной информационной последовательностью приходим к выводу, что соотношение между наиболее важными величинами

является ключевым для установления свойств сходимости процедуры Такое соотношение часто называют моделью ошибки (в частности, в связи с приложениями к адаптивному управлению).

Для символически можно записать

Правая часть является случайной величиной. Если значение настолько мало, что может существенно измениться только в результате большого числа шагов типа это изменение наиболее вероятно происходит в направлении математического ожидания этой величины:

Весь дальнейший анализ асимптотики основан на соотношении однако, существуют различные способы формализации анализа. Здесь кратко описывается подход, основанный на исследовании соответствующего обыкновенного дифференциального уравнения.

Обыкновенное дифференциальное уравнение. Пусть определяются соотношениями

Определим

как среднее направление движения, отвечающее значению параметра Тогда соотношениям соответствует следующее обыкновенное дифференциальное уравнение:

Если задается выражением то определим

и соответствующие обыкновенные дифференциальные уравнения принимают вид

Опишем кратко, в каком смысле (11А.10) соответствует (11А.1) и (11А.2), но сначала приведем эвристический способ вывода

Допустим, что матрица в фиксирована и равна что и что выбирается из условия близости Тогда

где

Здесь первая аппроксимация обусловлена близостью значений в и 0 для таким образом, замена на 0 в приводит к При второй аппроксимации мы пренебрегли суммой независимых случайных величин, используя закон больших чисел. Далее, заменяя масштаб времени на с помощью соотношения

можно записать как

Это выражение представляет собой метод Эйлера для решения обыкновенного дифференциального уравнения следовательно, связь между эвристически установлена. С учетом получаем

Эвристическое обсуждение предполагает, что траектории ( описывают поведение если 7 достаточно мало. Проводя некоторые рассужде технического характера, можно формально установить следующую взаимосвязь (при некоторых условиях регулярности):

— Если при и все траектории сходятся к множеству то оценки сходятся к с вероятностью 1 при при условии их принадлежности множеству

— Если при с положительной вероятностью, то 0 является устойчивой стационарной точкой

- Если является решением

где определено в

Доказательства этих утверждений см. в работе Льюнга [244].

Сходимость рекуррентного метода ошибки предсказания. Для семейства рекуррентных методов ошибки предсказания имеем

Это определяющее соотношение может рассматриваться как модель ошибки имеющая место независимо от свойств данных.

Имеем также

Положим

Тогда вдоль траекторий (напомним, что

откуда видно, что V убывает вне множества

и является функцией Ляпунова для показывающей, что траектории (из тех, что остаются в будут сходиться к при В соответствии с это приводит к

стремится к границе множества чего нельзя исключить, если не

осуществляется специальное проектирование на . В связи с точки, не являющиеся локальными минимумами могут быть исключены из Таким образом, устанавливается сходимость рекуррентного метода ошибки предсказания к локальному минимуму функции с вероятностью 1, что полностью совпадает с результатом оценивания по накопленным данным (10.41). Резюмируем это следующим образом:

Результат 11.1. Рассмотрим алгоритм при и положительно определенной матрице Предположим, что при и что значения ограничены подмножеством Тогда сходится с вероятностью 1 к локальному минимуму функции (или к границе множества при

Асимптотическое распределение оценок рекуррентного метода ошибки предсказания. Рассмотрим рекуррентный метод ошибки предсказания Гаусса - Ньютона (11.44) и предположим, что существует такое для которого является белым шумом. Положим

(ср. и ). Тогда аналогично

Введем перепишем как

Суммируя это выражение от до получим

Рассмотрим сумму

По определению

где первая апнроксимациялобусловлена тем, что при фильтрации используются оценки, примерно равные (см. ), а вторая аппроксимация учитывает теорему о среднем. Это означает, что сумма с большой вероятностью пренебрежимо мала по сравнению с другими членами в Аналогично значение должно быть пренебрежимо малым. Следовательно,

Предполагая близость асимптотически большую часть времени, можно заменить на без большой ошибки. Это дает

где

Из раздела 9.2 известно, что представляет собой то же самое асимптотическое выражение, что и для оценки

вычисляемой по накопленным данным.

Это обсуждение было эвристическим, поскольку мы пренебрегали некоторыми членами без строгого доказательства. Проведя некоторые формальные выкладки, эти аппроксимации могут быть обоснованы формально. Это сделано в теореме 4.5 книги Льюнга и Седерстрема [262]. Таким образом, можно сформулировать следующий результат:

Асимптотическое распределение оценок, полученных с помощью рекуррентного метода ошибки предсказания Гаусса — Ньютона, такое же, как и для оценки, вычисляемой по накопленным данным.

В частности, для что приводит к из теоремы 9.1 и (9.17) получаем следующий результат:

Результат 11.2. Рассмотрим рекуррентный метод ошибки предсказания Гаусса - Ньютона (11.44) с Предположим, что существует такое для которого является белым шумом с дисперсией Тогда, если

Сходимость рекуррентных оценок псевдолинейной регрессии. Прежде всего постулируем определенную модель ошибки

Исследуем теперь свойства сходимости в предположении Правые части соответствующих обыкновенных дифференциальных уравнений содержат выражения

так как и независимы. Обозначая

запишем эти уравнения в виде

Используя в качестве функции Ляпунова для

получим

Допустим теперь, что матрица

положительно полуопределена для всех 0. Тогда показывает, что все траектории оканчиваются в множестве

Таким образом, условие положительной полуопределенности является достаточным для сходимости в . В задаче требуется доказать, что

Это условие на обычно выражают словами как 1/2 имеет строго положительную действительную часть. Результат можно резюмировать следующим образом:

Результат 11.3. Рассмотрим рекуррентную оценку псевдолинейной регрессии при Предположим, что выполняется соотношение между и что передаточная функция имеет строго положительную действительную часть. Тогда

с вероятностью 1 при

Заметим, что мы предположили принадлежность истинной системы множеству моделей присутствует в Это не соответствует условиям результата 11.1.

Для ARMAX-модели, как нетрудно показать, выполняется при

где полином, соответствующий шуму истинной системы. (См. работу Льюнга [243].) При этом условием положительности действительной части будет

Поскольку условие относится к истинной системе, его выполнение нельзя гарантировать априори. Однако если априори известны некоторые свойства шума, условие может быть ослаблено (см. задачу ).

Если рекуррентный алгоритм псевдолинейной регрессии применяется к модели с ошибкой на выходе (4.25), анализ полностью аналогичен. Условие сходимости

принимает вид

где полином, стоящий в знаменателе передаточной функции истинной системы (задача 11А.2),

Локальная сходимость рекуррентного метода псевдолинейной регрессии. Обыкновенные дифференциальные уравнения можно линеаризовать в окрестности требуемой предельной точки Можно убедиться (задача что свойства устойчивости линеаризованных уравнений полностью определяются матрицей Если эта матрица имеет собственные значения в правой полуплоскости, то, в соответствии с не может сходиться к В некоторых частных случаях собственные значения этой матрицы могут быть вычислены явно, откуда можно получить условия, при которых рекуррентная оценка псевдолинейной регрессии не может сходиться к истинному значению. (См. [262, пример 4.1 I] и

Заключение. В этом приложении было приведено три основных результата относительно асимптотических свойств рекуррентных алгоритмов идентификации. Следует отметить, что результаты не были сформулированы с полной строгостью и с указанием всех условий технического характера. По этому поводу см., например, [262].

11А. Задачи

(см. скан)