20.6.3. ОЦЕНИВАНИЕ ПАРАМЕТРОВ

а) Линейное оценивание. После того как подходящая модель в фазовом пространстве выбрана, возникает задача, как оценивать ее параметры. Обычно это можно сделать, минимизируя некоторую функцию от данных и параметров, чтобы получить прогноз, близкий к наблюдаемым значениям. Чаще всего эта функция есть взятый со знаком минус логарифм функции правдоподобия данных, что приводит к оценкам параметров по методу максимума правдоподобия [см. гл. 6]. Функция правдоподобия для некоторого множества данных есть их совместная плотность вероятности, вычисленная в точке, отвечающей этим данным, и рассматриваемая как функция параметров. Эта плотность может быть факторизована следующим образом:

где Каждая функция (для модели в фазовом пространстве с гауссовскими шумами системы и измерений) есть функция плотности, определяемая фильтром Калмана. Целесообразно заметить, что в соответствии с теоремой Байеса [см. гл. 15]

где — нормальная плотность зависящая только

от и от параметров. Чтобы найти функцию правдоподобия, вычислим произведение индивидуальных плотностей задаваемых фильтром Калмана. Это можно сделать численно. Функция правдоподобия вычисляется для последовательности множеств значений параметров, и ее значение запоминается. При применении тех или иных алгоритмов численной оптимизации выбираются новые множества значений параметров, уменьшающие значение функции правдоподобия и сходящиеся к точке минимума. Альтернативный подход заключается в том, что градиент логарифма функции правдоподобия может быть получен в аналитическом виде, а для получения улучшенных оценок параметров можно использовать алгоритм Гаусса—Ньютона. Этот алгоритм дает последовательные оценки в соответствии с формулой

где — полная функция правдоподобия:

В общем случае указанный алгоритм сходится к нулю функции который, если матрица вторых производных положительно определена, является локальным максимумом функции правдоподобия.

Аналитическое вычисление производных — утомительное занятие, если только модель не записана в форме обновления.

В одномерном случае, когда

и

логарифм функции правдоподобия для одного наблюдения имеет вид

Дифференцирование по любому параметру отличному от приводит к соотношению

где

и

Последнее равенство дает рекуррентную формулу для производной состояния.

Если нельзя сделать предположения о виде распределения, для минимизации можно брать функцию, отличную от функции правдоподобия, но сам принцип оценивания остается прежним. Однако желательно, чтобы эта функция обладала минимумом в области изменения параметров, а такую функцию иногда нелегко подобрать. К тому же выяснение свойств полученных оценок также может оказаться трудной задачей.

Метод, описанный выше, предназначен для использования «offline», т. е. когда значения параметров фиксированы в течение каждого просмотра данных. В принципе возможно и рекурсивное оценивание параметров, если после каждого вновь поступившего наблюдения производится небольшая перестройка оценок параметров. Существует множество разновидностей рекурсивных алгоритмов, причем сходимость некоторых строго не доказана. Они попадают в разряд общих алгоритмов стохастической аппроксимации [см., например, Невельсон, Хасьминский (1972)]. Их общий вид таков:

где функция представляет уклонение от предсказанного значения, А — весовая матрица, такая, что стремится к нулю. При надлежащем выборе алгоритм сходится к значению , для которого среднее значение равно нулю. Для эвристического объяснения самым подходящим является вариант, сходный с алгоритмом Гаусса—Ньютона, о котором речь уже шла. Ниже дана его модификация для случая, когда — гауссовские плотности:

Отметим, что в матрицу А входит сумма произведений логарифмических производных по всем тогда как содержит только последнее значение

Предлагаются также и многие другие эвристические методы. Если для модели в фазовом пространстве известны дисперсии и то функцию можно заменить функцией (имеющей

минимум по F), где — обновление этом случае

где матрица В появляется в виде «коэффициента усиления». Этот алгоритм может быть записан так:

Указанная схема совместного оценивания состояния и параметров может быть реализована при помощи обобщенного фильтра Калмана [см. раздел 20.6.3, п. б)]. Матрица В находится с помощью ковариационных соотношений. Описанный метод нельзя применять для оценивания и поскольку для этого требуются квадратичные члены по . В работах [Mehra (1969)], [Sage and Husa (1969)], [Martin and Stubberud (1976)], [Brewer (1976)], [Todini (1978)] и других предложены схемы для оценивания и подобные методам стохастической аппроксимации. И. Тодини использует алгоритмы вида

где и принимаются равными Как подтверждают численные эксперименты с применением метода Монте-Карло, эта схема достаточно удовлетворительна. Здесь мы изложили только основной принцип. Детальное описание содержится в работах [Todini (1978)] и [Todini and O’Connell (1980)]. Для оставшихся параметров можно прибегнуть к алгоритму вида

где Вв снова определяется с помощью фильтра Калмана, применяемого для оценки параметров. Более привлекательный алгоритм для оценивания всех параметров, основанный на производных функции правдоподобия, предложен в работе [Ljung (1979)], где приводится и доказательство его сходимости.

б) Нелинейное оценивание. До сих пор мы обсуждали методы оценивания параметров с упором на простейшую модель, а именно на линейную дискретную модель в фазовом пространстве. Для нелинейных моделей новые принципиальные идеи не нужны. Поскольку же мы

имеем дело с аппроксимацией истинной модели, это обстоятельство надо принимать во внимание при оптимизации оценок параметров. В общем случае при заданных дискретных наблюдениях может быть приемлемой следующая целевая функция:

где V — ковариационная матрица Если распределены по нормальному закону, то процедура оптимизации дает оценки максимума правдоподобия. Однако и в других случаях оказывается полезной целевой функцией. Общий рекуррентный алгоритм, задаваемый формулой (20.6.42), может применяться и для нелинейных моделей, несмотря на то, что могут потребоваться численные оценки для производных . В [Cooper (1982)] приведены примеры применения этого очень общего алгоритма для некоторых нелинейных задач.

Другой возможный подход к оцениванию параметров как для линейных, так и для нелинейных моделей основан на обобщенном фильтре Калмана. Если определить расширенный вектор состояния как

где — вектор параметров, то уравнения системы и измерения (линейные и нелинейные) можно переформулировать в терминах расширенного вектора состояния х. При этом даже если исходное уравнение системы было линейным [ср. с уравнением (20.2.1)], то уравнение состояния для расширенного вектора состояния будет нелинейным из-за членов, содержащих произведения элементов х на элементы В. Для решения возникшей нелинейной задачи оценивания можно применить обобщенный фильтр Калмана по схеме, описанной в разделе 20.5.2.