7.1. МОДЕЛИ, ЛИНЕЙНЫЕ ПО ПАРАМЕТРАМ

Задача рекуррентного, или итеративного, оценивания может быть представлена как задача улучшения старой оценки Наличие такой оценки означает использование некоторой модели (например, в виде программы для ЦВМ), как это показано на фиг. 7.1, а. Входной сигнал одновременно подается на объект и модель с настраиваемыми параметрами. Настройка параметров производится с помощью настраивающего устройства, на вход которого поступают выходные сигналы объекта и модели В такой постановке задача идентификации в натуральном масштабе времени рассматривалась в [41].

По существу задача состоит в том, чтобы сконструировать такое настраивающее устройство, которое обеспечивало бы близость (в каком-либо смысле) параметров модели и параметров объекта. Снова отметим, что в этом случае оценка поступает в замкнутый контур, который обеспечивает самокорректировку различных типов ошибок (см. гл. 2).

Как отмечалось в гл. 4, линейность по параметрам приводит к относительно простым задачам, даже если объект обладает нелинейной динамикой. В этом разделе рассматривается модель следующей структуры:

т. е.

Рекуррентные алгоритмы могут быть разной степени сложности. Здесь они обсуждаются по мере возрастания сложности в следующей последовательности:

а) настройка, пропорциональная градиенту;

б) метод наименьших квадратов для последовательности наблюдений;

в) рекуррентный метод наименьших квадратов;

г) стохастическая аппроксимация;

Д) принцип сжатых отображений.

(кликните для просмотра скана)

Настройка, пропорциональная градиенту

Рассмотрим схему, изображенную на фиг. 7.1, б. Число параметров, которые нужно оценить, известно заранее; статистически независимы. Через обозначен вектор параметров модели на интервале измерений. Следующее значение вектора параметров модели можно выбрать как предыдущее значение вектора, скорректированное на величину, пропорциональную градиенту функции ошибок:

где (см. приложение В)

следует интерпретировать как наблюдения в интервале измерений (фиг. 7.2). Таким образом,

Среди возможных матриц весовых коэффициентов, как и раньше, Коэффициент усиления может быть выбран как постоянным, так и меняющимся во времени (как функция ). Влияние этого выбора рассматривается в следующей части раздела.

Метод наименьших квадратов для последовательности наблюдений

В схеме, изображенной на фиг. 7.1, б, можно оценить вектор разности между параметрами объекта и параметрами модели

т. е. использовать уравнение (6.31) относительное, а не у (см. фиг. 7.1, в). Это означает, что объект и модель частично компенсируют друг друга и оцениваются параметры

(кликните для просмотра скана)

возникающей в результате компенсации динамической системы. Следовательно,

Отсюда получаем, что

Сравните этот результат с уравнением (7.2). Снова можно положить В дальнейшем, если не оговорено противное, Необходимость обращения матрицы на каждом шаге процедуры относительно усложняет численную реализацию алгоритма, хотя в расчете на итерацию здесь используется меньшее число выборочных значений но сравнению с одношаговыми методами решения. Однако размер матрицы не уменьшается.

Если помехи отсутствуют, то можно использовать быстро сходящийся алгоритм настройки, известный под названием «идентификация обучением». В этом случае уравнение (7.3) сводится к виду [6,23]

В работе [12] рассматривается система с квантованным сигналом

На практике задачи оценивания решаются в условиях действия аддитивного шума. Для этого случая свойства алгоритма (7.3) проанализированы в работе [39] (см. также [40]). Можно исследовать, как изменяется во времени математическое ожидание оценки. Имея в виду, что из уравнения (7.3) находим

Следовательно,

Поскольку параметры исходной модели (известной), можно положить Если

априорная информация о параметрах объекта отсутствует, естественно положить

Интересно также рассмотреть изменение во времени ковариации. Пусть для простоты Тогда

Если широкополосная помеха, то в большинстве практических случаев можно рассматривать как независимые. Следовательно, имеем

т. е. линейное уравнение с переменными коэффициентами. В случае аддитивной помехи в форме белого шума второе слагаемое сводится к

Если, кроме того, на вход системы подастся достаточно длипный отрезок реализации белого шума выборочных значений), то второе слагаемое приблизительно равно

Снова представляет собой исходную модель и, следовательно, является известным. Из этого вытекает, что Это начальное условно используется при исследовании изменения ковариации во времени.

Из формул (7.4) и (7.5) ясно, что выбор решающим образом влияет на сходимость. Этот коэффициент усиления может быть выбран постоянным или зависящим от номера итерации настройки. В обоих случаях выбор для всех в соответствии с формулой (7.4) означает, что

для всех Таким образом, после 1-й настройки оценка оказывается несмещенной независимо от коэффициентов исходной модели.

Реализация процедур оценивания в замкнутом контуре. Следуя работе [40], рассмотрим случаи

а) Этот случай напоминает алгоритм стохастической аппроксимации (см. гл. 5). Из формул (7.5) и (7.7) следует, что при наличии белого шума и белого шума и на входе системы

и

Это можно видеть, изображая графически последовательные значения элементов ковариационной матрицы векторов

Член в формуле (7.9) обозначает общий размер выборки, которая используется в течение интервалов измерения. Сравнение с явными методами [см. формулу (6.63)] показывает, что в обоих случаях ковариация одинакова. Для достаточно малых выборок мало) соотношение

может не выполняться. В этом случае экспериментальные результаты обнаруживают сдвиг в сторону увеличения дисперсий (фиг. 7.3).

б) Случай приводит к формуле

которую можно переписать в виде

Следовательно,

Фиг. 7.3.

т. е. оценка является асимптотически несмощенной (фиг. 7.4). Исследуя выражения для ковариаций векторов находим, что

Таким образом, в случае постоянного усиления ковариация не стремится к нулю даже на бесконечном интервале наблюдения

Фиг. 7.4.

Фиг. 7.5.

Очевидно, что метод применим, если определяемые параметры не зависят от врсмепи. Эти параметры могут быть найдены с любой заданной точностью, если только интервал наблюдения достаточно велик. Отметим, что в силу выбора новые наблюдения все меныпе влияют на оценку по мере увеличения

В методе «б» и новые и старые наблюдения берутся с одпим весом. В тех случаях, когда параметры меняются медленно (отслеживание параметров), необходимо обеспечить постепенное забывание предыстории. Способы организации такого забывания обсуждаются ниже.

Так же как и в гл. 6, можно исследовать, что происходит в связи с различными упрощениями, особенно если устраняется обращение матрицы. Оказывается, что:

1) если то ковариация такая же, как в случае использования обращения матриц с незначительными отклонениями только для небольших значений (фиг. 7.5);

2) если то при больших ковариация асимптотически приближается к ковариации, которая получается при использовании обращения матриц в соответствии с формулой (7.14).

Рекуррентный метод наименьших квадратов

Изменим обозначение матрицы входов на чтобы подчеркнуть номер последнего наблюдения [21]:

Здесь и соответствует новому наблюдению. Определим

или

Отметим, что размер не зависит от номера Используя матричные тождества, приведенные в приложении В, получим

где

является скаляром. Вводя обозначение находим с помощью формулы (6.31) оценку

Подстановка выражения (7.18) в (7.20) дает и

Здесь введено для упрощения дальнейших выкладок. Используя равенство (7.19), можно преобразовать (7.21) к виду

или

Эквивалентность двух последних соотношений можно показать непосредственной подстановкой или используя матричные тождества из приложения В. Оценка, использующая новую пару наблюдений и (к 1) и состоит из суммы старой оценки и линейного корректирующего члена. Заметим, что у используется как нормирующий множитель. Выражение соответствует той части последнего наблюдения выходного сигнала, которая по может быть объяснена наблюдением входного сигнала и последней оценкой параметров. Отметим, что в этом случае не нужно обращать матрицу, а для вычисления новой оценки используется только старая оценка и новые наблюдения. Таким образом, пара представляет наименьшее число переменных, описывающих вход и выход объекта, которые необходимы в процессе вычислений. Это показано на фиг. 7.6. Новая итерация определяется уравнениями (7.18) и (7.22) или (7.23). На фиг. 7.7 схематично показаны операции, необходимые Для вычисления новой итерации оценок. симметричная матрица, и, следовательно, нужно обратить только один из ее треугольников. Отметим, что определяемая формулой (7.22) или (7.23), является оценкой

Фиг. 7.6.

по методу наименьших квадратов; сходимость рекуррентного метода вытекает непосредственно из доказательства состоятельности оценок метода наименьших квадратов. Формулу (7.22) можно записать также в виде

т. е. таким образом, что новая оценка оказывается представленной в виде линейной комбинации старой оценки и оценки, которая основывается только на новых наблюдениях. Весовые коэффициенты в этой линейной комбинации отражают «степень доверия» к различным ее составляющим.

Поскольку такое оценивание представляет собой просто рекуррентный вариант процедур с накоплением, рассмотренных в гл. 6, то

Если — белый шум с ковариацией то

(кликните для просмотра скана)

Следовательно, и пропорциональны ковариационным матрицам оценок в моменты к и к соответственно.

Можно показать, что для многих типов входных сигналов матрица является положительно определенной и

Пример. Этот пример приводится для того, чтобы помочь читателю получить полное и ясное представление о значимости различных компонент новой оценки. Рассмотрим упрощенный вариант одномерной задачи:

Если априорная информация невелика, то выбранное значение равно 0. Если — стационарный белый шум с то

Интересно сравнить полученный результат с условием сходимости по вероятности алгоритма стохастической аппроксимации (см. разд. 5.4).

В качестве упражнения рассмотрим следующий случай. Объект описывается уравнением

Выбрана модель, в которой используется значение оценки, найденное на предыдущем шаге:

Ошибка равна

Для повторения полезно непосредственно вывести соотношения (7.28) и (7.29) (см. также разд. 5.1).

Читателю предлагается:

1) написать простую программу для которая геперировала бы значения и например, в виде случайных чисел, моделировала бы объект и рекуррентно оценивала бы параметры

или

2) провести вычисления и вручную, используя таблицу случайных чисел.

Выберите например Полезно повторить вычисления несколько раз, выбирая каждый раз повью начальные условия. Графическое представление результатов экспериментов дает наглядное представление о скорости сходимости. При этом используются получающиеся значения и

Опираясь непосредственно на результаты этого раздела, можно получить следующие соотношения:

где соответствующий элемент диагональной матрицы из выражения для функции ошибок

Более строгое изложение рекуррентного метода наименьших квадратов можно найти в работе [2].

Начальный этап процедуры оценивания. В основу начального этапа рекуррентной процедуры оценивания может быть положено несколько приемов [19]:

1) Использование всей априорной информации и Если известно, что входной сигнал и имеет вид стационарного белого шума с дисперсией то можно выбрать

Тогда рекуррентная процедура начинается с шага.

2) Использование I наблюдений для того, чтобы с помощью явного метода определить начальную оценку

После этого можно использовать рекуррентный метод. Недостатком этого способа является необходимость обращения матрицы.

3) Использование где а — очень большое действительное число, выбирается произвольно. На первом шаге получаем

[см. формулы (7.17) и (7.23)]. Точно так же находим

Если

т. е. имеем формулы, полученные явными методами. В этом случае можно использовать рекуррентную процедуру оценивания, начиная с первого наблюдения.

Экспоненциальное взвешивание прошлых наблюдений. Как уже отмечалось, приведенные алгоритмы представляют собой рекуррентный вариапт процедур оценивания с накоплением, данных (одношаговых). Это означает, что всем к выборочным значениям, которые используются при оценивании придаются равные веса независимо от «возраста» наблюдений. При оценивании (медленно) изменяющихся параметров это, естественно, нежелательно. Необходимо постепенно «забывать» предысторию. Математически это можно представить так:

или

где При получаются следующие уравнения (см. приложение В):

Замечая, что весовые коэффициенты, приписываемые прошлым наблюдениям, изменяются как функции по закону довол просто определить ту часть выборки, которая заметно влияет на величину оценки при каждом фиксированном с. В случае наблюдений с шумами величина с выбирается близкой к единице с тем, чтобы эффективная продолжительность наблюдений была как можно больше.

Стохастическая аппроксимация

Этот метод обсуждался в разд. 5.3. Алгоритм может иметь вид

где должно удовлетворять следующим условиям:

На каждом шаге выполняются соотношения

Следовательно, уравнение (7.37) можно переписать в виде

Эта оценка сходится по вероятности к истинным значениям параметров (см. [1,16]). Условиям на удовлетворяет, например, следующая последовательность:

Сравнивая формулы (7.23) и (7.38), замечаем, что единственное отличие их состоит в том, что в формуле (7.38) вместо используется матрица тесно связанная с ковариационной матрицей оценки [см. формулу (7.27)], заменяется диагональной матрицей Таким образом, стохастическая аппроксимация приводит к упрощенному алгоритму, который требует меньшего объема вычислений, поскольку матрицу считать не нужно. С другой стороны, если матрица отсутствует, метод стохастической аппроксимации но позволяет определить точность оценок. В смысле минимума дисперсии ошибки этот метод является субоптимальным но сравнению с алгоритмами (7.23) и (7.18). Приложениям метода стохастической аппроксимации посвящены, например, работы [13, 25, 30-32].

Принцип сжатых отражений

Метод синтеза рекуррентных алгоритмов предложен в работах [26, 27], где вместо того, чтобы для каждого к решать уравнение

и доказывать, что удовлетворяет рекуррентному соотношению, вводится отображение

Здесь у — вещественное число. Затем доказывается, что последовательность

при некоторых предположениях сходится при к к истинным значениям параметров. Когда алгоритм (7.39) применяется при решении задач, обычных для метода наименьших квадратов, он оказывается менее

эффективным по сравнению с рекуррентным методом наименьших квадратов. Для того чтобы получить эффективный алгоритм, нужно представить у в виде матрицы. Если

то алгоритм превращается в метод наименьших квадратов.

Этот метод можно применять и в более общих задачах. Он действительно был проверен при исследовании объекта, у которого как входной, так и выходной сигналы измеряются с ошибками при условии, что известна ковариационная функция ошибок измерений. Предположение о том, что известна ковариация ошибок измерений, существенно ограничивает практическую применимость метода.