11.2. Рекуррентный алгоритм наименьших квадратов

В этом разделе будет рассмотрен метод наименьших квадратов как простой, но в то же время наиболее типичный случай. Полученные алгоритмы и понимание их специфики послужит основой рассуждений в следующих разделах.

Взвешенный критерий наименьших квадратов. В разделе 7.3 вычислялась оценка, минимизирующая взвешенный критерий наименьших квадратов:

Она задается соотношением (7.42):

Чтобы произвести вычисления (11.5), следовало бы в момент времени образовать указанные матрицу и вектор но данным и затем найти (11.5а). Если бы ранее была вычислена оценка непосредственной помощи от этого не было бы. Однако из рассматриваемых выражений ясно, что взаимосвязаны. Попытаемся использовать эту взаимосвязь.

Рекуррентный алгоритм. Допустим, что последовательность весов имеет следующие свойства:

Это означает, что можно записать

Позднее мы обсудим значение этого предположения. Заметим, однако, что при этом

Отсюда

Имеем

что и представляет собой рекуррентный алгоритм, удовлетворяющий требованию (11.2): в момент времени запоминается только конечномерный информационный вектор Так как матрица R симметрична, размерность X равна . В момент времени этот вектор пересчитывается в соответствии с что требует определенного фиксированного количества вычислений.

Вариант алгоритма с рекуррентным обращением матрицы. Чтобы избежать обращения матрицы на каждом шаге, удобно ввести

и применить к лемму об обращении матриц

Выбирая получим

Более того, имеем

Таким образом, приходим к следующему варианту алгоритма:

Здесь мы перешли к обозначению вместо чтобы подчеркнуть определенное их различие из-за влияния начальных условий (см. далее).

Вариант алгоритма с нормализацией коэффициента усиления. Величина матрицы и (11.9) будет зависеть от Для более ясного выявления степени изменения, которому подвергается оценка в (11.9а), поучительно нормализовать следующим образом:

Заметим, что в соответствии с (116)

равна теперь средне-взвешенному арифметическому величин Из и (11.14)

Тогда (11.9) можно переписать в виде

Заметим, что является ошибкой предсказания, соответствующей текущей модели. Поскольку матрица нормализована, переменная может рассматриваться как пересчитываемый размер шага или коэффициент усиления алгоритма (11. 16). Сравните также с (II .3).

Начальные условия. Чтобы воспользоваться рекуррентными алгоритмами, необходимо определить их начальные условия. Правильными начальными условиями в (1 1.9) в момент времени должны бы быть произвольно, что соответствует определению Однако их нельзя использовать. Тогда можно начинать алгоритм только в момент когда становится обратимой (обычно и затем использовать

Более простая возможность состоит, однако, в использовании в (11.12). Это даст

где определена соотношением (11.7). Очевидно, если велика или велико то разница между (11.19) и (11.5) незначительна.

Многомерный случай. Рассмотрим теперь многомерный случай взвешенных наименьших квадратов (ср. с (7.43) и

где удовлетворяет (11.6). Проводя вычисления, полностью аналогичные сделанным ранее, получаем многомерный вариант (11.12)

и

Заметим, что эти выражения полезны также для скалярных систем, когда в (11.4) используется взвешенная норма с

При этом скаляр а соответствует

Асимптотические свойства оценки. Так как оценка вычисленная с помощью рекуррентного алгоритма наименьших квадратов, отличается от оценки по накопленным данным всего лишь начальными условиями, как показано в (11.19), ее асимптотические свойства будут совпадать со свойствами оценок, представленных в гл. 8 и 9.

Интерпретация с помощью фильтра Калмана. Фильтр Калмана, предназначенный для оценивания состояния системы

определяется уравнениями (4.91) и (4.92). Линейная модель регрессии

лежащая в основе наших вычислений, может быть представлена в форме (11.24):

Применяя к (11.25) фильтр Калмана с получим теперь в точности (11.21) с

Это дает важную информацию, а также некоторые практическиерекомендации:

1. Если шум в (11.25) белый и гауссовский, то, как следует из теории калмановской фильтрации, апостериорное распределение в при заданном является гауссовским со средним значением и матрицей ковариаций определяемой выражением (11.21) с

2. Более того, начальные условия можно интерпретировать таким образом, что является средним, а — матрицей ковариаций анриорного распределения. Проще говоря, это означает, что является предполагаемым значением вектора параметров до наблюдения данных, а отражает нашу уверенность в этом значении.

3. Кроме того, естественный выбор нормирующей матрицы состоит в том, что она полагается равной матрице ковариации шума в уравнении ошибки. В скалярном случае при переменном в качестве весов в критерии (11.4) следует использовать (ср. с (11.23)).

Отслеживание нестациоиарностей. Важной причиной использования адаптивных методов и рекуррентной идентификации на практике является то, что свойства системы могут изменяться со временем, и алгоритмы идентификации должны отслеживать эти изменения. Это достигается естественным образом путем назначения в критерии (11.4) меньших весов более старым измерениям, которые уже мало информативны. В терминах (11.6) это означает, что выбирается . В частности, если то

и старые измерения в критерии экспоненциально затухают. В этом случае X часто называют фактором забывания. Тогда, в соответствии с (11.14), величина равна

Все это приводит к тому, что в алгоритме (11.12) или (11.16) размер шага, или коэффициент усиления, не будет убывать до нуля. Более детально это обсуждается в разделе 11.6.

Другая, более формальная альтернатива учета нестационарности состоит в постулировании того, что истинный вектор параметров в (11.25) не является постоянным, а изменяется по закону случайного блуждания:

где белый шум, При этом фильтр Калмана по-прежнему позволяет вычислить условное математическое ожидание и ковариацию как

Отсюда видно, что в появился аддитивный член не позволяющий коэффициенту усиления стремиться к нулю.