5f. Точность оценивания

При доказательстве теоремы вводится оценка вектора неизвестных параметров, названная квазимаксимально правдоподобной. Исследуем среднеквадратичеокую ошибку этой оценки. Используя неравенство Крамера — Рао, получим условия, при которых оценка имеет наименьшее значение среднеквадратической ошибки в классе асимптотически несмещенных оценок.

Обозначим через вектор коэффициентов множества матриц уравнения Пусть — произвольный вектор той же размерности, что и у вектора , а множество матриц получается тем же способом из , каким получается из . Пусть оценка заданная рекуррентно соотношением

и определяемая параметром и всеми наблюдениями до момента времени Рассмотрим функцию потерь

Квазимаксимально правдоподобная оценка параметра , отвечающая множеству наблюдений есть значение , минимизирующее и обозначаемое через .

5f.1. Среднеквадратическая ошибка многомерной квазимаксимально правдоподобной оценки.

При больших матрица вторых моментов ошибок квазимаксимально правдоподобной оценки имеет вид

Предположения, сделанные отосительно канонических форм, обеспечивают существование обратной матрицы в этом выражении. Доказательство приведено в приложении 5.1. При доказательстве мы ограничиваемся системами типа не содержащими функций тренда, хотя

справедливо и в том случае, когда в имеется вектор тренда лишь бы удовлетворяло предположению

Поскольку уравнение содержит неизвестные и его можно использовать лишь для количественной оценки точности оценивания. Приближенное выражение матрицы вторых моментов ошибок квазимаксимально правдоподобной оценки можно получить из опуская символ математического ожидания и заменяя оценкой производные — их числовыми значениями Как будет показано в гл. VII, для относительно простых задач выражение можно задать в виде явной функции параметра .

5f.2. Нижние границы ошибок оценивания.

В этом пункте изложение ведется параллельно изложению в для одномерных систем.

Пусть задано пар наблюдений удовлетворяющих системе Через обозначим вектор коэффициентов в через — оценку параметра по всем прошлым наблюдениям до момента времени

Дисперсия зависит, очевидно, от того, является ли единственным неизвестным или же неизвестны как , так и Естественно, что дисперсия оценки в последнем случае больше, чем в первом. Однако в гл. IV мы уже видели, что если скаляр), то знание величины не приводит к существенному изменению нижней границы дисперсии . Если неизвестна, то к нижней границе дисперсии добавляется величина порядка Аналогичное утверждение верно и для многомерных систем. Следовательно, при вычислении нижней границы дисперсии оценки параметра можно предположить, что известна.

Пусть

т. е. смещение оценки .

Дисперсия составляющей вектора удовлетворяет неравенству

где

— информационная матрица Фишера, а логарифм функции правдоподобия, соответствующей наблюдениям до момента времени

Если оценка — несмещенная (или асимптотически несмещенная), т. е. то неравенство упрощается и

принимает вид

В случае несмещенных оценок неравенство Крамера — Рао можно также написать для матрицы вторых моментов ошибок:

знак означает положительную полуопределенность.

Ясно, что знание распределения вероятностей возмущений необходимо для оценки нижних границ. Оценим границу сначала для гауссова В этом случае логарифмическая функция правдоподобия равна

Векторы вычисляются рекуррентно по с использованием произвольного и прошлых наблюдений до момента времени Последовательным дифференцированием находим

Если то математическое ожидание первого члена в правой части (5f.2.7) равно нулю, поскольку не зависят от прошлых значений Следовательно, информационная матрица Фишера равна

или

Рассмотрим квазимаксимально правдоподобную оценку . Мы видим, что она — асимптотически несмещенная, а ее ковариационная матрица равна По определению, квазимаксимально правдоподобная оценка имеет наименьшее значение среднего квадрата ошибки в классе всех асимптотически несмещенных оценок при условии, что процесс гауссов.

Ограничения, присущие квазимаксимально правдоподобным оценкам при смешанных распределениях, полученные в гл. IV, справедливы и здесь. Следовательно, если есть основания полагать, что распределение шума — смешанное, то следует использовать робастные оценки.

Подчеркнем, что приведенная выше нижняя граница получена в классе асимптотически несмещенных оценок. Интересно было бы знать, существуют ли смещенные оценки с меньшими значениями среднего квадрата ошибок. Последствия использования таких оценок не вполне ясны, и потому они здесь не рассматриваются.

5g. Заключение

Мы рассматривали преимущественно те аспекты разностных уравнений для многомерных систем, которые не имели аналогов для систем с одним выходом. Достаточно обстоятельно обсуждались различные канонические и псевдоканонические формы разностных уравнений с подчеркиванием различной роли той или иной формы. Мы выделили канонические формы II и III, значительно упрощающие оценку параметров. Были рассмотрены также алгоритмы преобразования одной формы в другую, оцениваемость параметров различных канонических форм и точность соответствующих квазимаксимально правдоподобных оценок.

Приложение 5.1. Доказательства теорем

А. Доказательство теоремы Нам понадобится следующая лемма, которая будет доказана позже.

Лемма 1. Для любых двух положительно определенных матриц существует неособенная матрица такая, что

Доказательство части теоремы 5а.1. (А) Покажем конструктивно существование матриц удовлетворяющих уравнению Определим как в (1). Пусть

Приравнивая спектральные плотности отвечающие двум четверкам получим

Подставляя из (2) в (3), будем иметь

Аналогичным образом, приравнивая спектральные плотности

для двух вышеупомянутых четверок и используя (3), получим

Подставляя из (1) в левую часть равенства (5), находим

а так как неособенная, то отсюда следует

Подставляя из (2) в (7) и упрощая, будем иметь

Уравнения (2), (4) и (8) приводят к уравнению Покажем, что определенная выше матрица унимодулярна, т. е. есть ненулевая константа.

Любую матрицу в можно привести к диагональной в матрице с помощью элементарных операций над элементами другими словами, существуют матрицы такие, что

где диагональна, а унимодулярны. Поскольку С диагональна, ее можно представить в виде

где диагональны, взаимно просты. Подставляя из (9) в (2) и используя (10), получим

Упрощая найдем

Аналогичным образом из (4) и (8) получим

соответственно. Рассмотрим уравнения (12) — (14). Неособенная матрица есть наибольший общий делитель для поскольку в силу взаимно просты слева. Но в силу (12) — (14) также является неособенным наибольшим общим левым делителем для поскольку элементы тройки в силу взаимно просты слева. Любые два наибольших общих делителя одной и той же тройки связаны между собой унимодулярной матрицей, скажем, Следовательно, в силу (9)

поэтому упимодулярна.

Доказательство части (II) теоремы 5а.1. Легко проверить, что если две четверки удовлетворяют то при заданной они имеют одни и те же спектральные плотности Поэтому эти две четверки связаны отношением эквивалентности

Доказательство леммы 1. Поскольку симметрические и неособенные, существуют неособенные матрицы диагонализирующие

где диагональны. Поскольку диагональны, существует неособенная симметрическая матрица С такая, что

Подставляя из (15), в (16), получим

Упростим (17):

Уравнение (18) идентично (1), если положить

В. Доказательство теоремы Часть Пусть , где

Пусть Тогда существует унимодулярная матрица такая, что

Для простоты ограничимся случаем

Поскольку нижнетреутольны, также должна быть (нижнетреугольной. Поскольку влечет

Поскольку нижнетреугольна, унимодулярна, то

Комбинируя получаем

т. е. в силу Пусть

тогда в силу (21)

Коэффициент при т. е. при наивысшей возможной степени членов, стоящих в левой части (27), равен

Поскольку А удовлетворяет из (27) и (28) следует

Так как (29) должно быть справедливо при любой получаем соотношение

что завершает доказательство.

С. Доказательство теоремы Рассмотрим функцию критерия

где — произвольный вектор, аналогичный вектору для структуры, определяемой матрицами определяется по 0 и прошлым наблюдениям у и с помощью соотношений

Оценка параметра получается из условия минимума Выражепие для находится с помощью квадратической аппроксимации отрезком ряда Тейлора

Минимизируя квадратический член в (32) по 0, получаем

следующее выражение для аппроксимирующего

Непосредственно дифференцируя находим

Ниже мы установим, что

В силу (37) уравнение (33) можно разрешить относительно

В силу (36) и (37) это выражение показывает, что сходится к нулю почти наверное.

Доказательство соотношения (36). Заметим, что последовательности и эргодичесние. Поэтому при почти наверное

Доказательство соотношения (37). Второй член в (35) сходится к нулю с вероятностью 1 по той же причине, по которой сходится к нулю Поэтому

Пусть произвольный -вектор,

Дифференцируя по разностное уравнение для в (31) и умножая уравнение на вектор получим разностное уравнение

где скалярные линейные функции, составлен из компонент векторов для различных

где

Поскольку уравнение (41) асимптотически устойчиво и возмущение имеет конечное среднеквадратическое значение в силу и соответствующих предположений, то

Упростим (39). Пусть минимальное собственное значение матрицы Ясно, что

таким образом, (37) установлено.

D. Среднеквадратическая ошибка квазимаксимально правдоподобной оценки в многомерном случае. Как показано при доказательстве теоремы 5b.2, второй член в (35) сходится к нулю с вероятностью 1 при В силу эргодичности для всех а также в силу (35) получим, что с вероятностью 1

Следовательно, (33) можно асимптотически представить в виде

Поскольку, как было установлено при доказательстве теоремы 5b.2, матрица обратима, уравнение (45) можно разрешить относительно

Умножая векторы в (46) на транспонированные к ним и беря математическое ожидание, получим

Оценим математическое ожидание в правой части (47). Из (34) получаем

Умножим члены в (48) на транспонированные к ним и возьмем математическое ожидание

Рассмотрим сумму тех членов в (49), для которых Тогда не зависит от всех остальных членов, стоящих в квадратных скобках правой части равенства (49), поскольку все они являются функциями от прошлых наблюдений до момента где Следовательно, при

поскольку первый член равен нулю. Аналогичным образом (50) верно и для Рассмотрим, далее, левую часть равенства (50) при

поскольку не зависит от прошлых значений а следовательно, не зависит от

Подставим (50) и (51) в (49) и перегруппируем члены, тогда правая часть (49) равна

Подставляя (52) в (47), получим

что и требовалось доказать.

E. Доказательство теоремы Для простоты предположим поскольку матричная тройка обладает всеми существенными свойствами. Обобщение на случай сравнительно простое.

Часть (I). Предположим, что (I) неверна, т. е. различные приводят к одной и той же спектральной плотности Сравнительно легко показать, что должны существовать две диагональные неособенные многочленные матрицы такие, что

Поскольку удовлетворяют то есть диагональный наибольший общий левый делитель (НОЛД) матриц НА и НВ. Согласно (54) К есть диагональный НОЛД для НА и НВ, поскольку А" и В" удовлетворяют Так как являются обе НОЛД, они связаны унимодулярной матрицей

Перепишем (54), используя (55):

поскольку К — неособенная.

Так как диагональна в силу (55) и унимодулярна, она состоит из постоянных элементов. Вместе с (56) и тем фактом, что это означает, что или так как

К и неособенные, мы должны иметь

F. Доказательство теоремы 5с.2. Доказательство части (I) совпадает с доказательством части (I) теоремы 5с.1.

Часть (II). Рассмотрим разностное уравнение системы

Пусть где определена в Тогда имеет ковариационную матрицу Перепишем уравнение (57) в виде

где Для получения из требуемой формы применим алгоритм Пусть и взаимно просты. Определим где выбрана так, что Тогда Нетрудно видеть, что четверка приводит к той же спектральной плотности, что и

Доказательство теоремы Как и выше, положим Пусть принадлежат и Тогда существует унимодулярная матрица такая, что

Положим

Аналогично определим матрицы с верхним индексом 1. Пусть Так как То из (59) следует

Унимодулярность влечет

Пусть и коэффициенты при высших степенях многочленов в равны Матрица не может удовлетворять так как особенная. Это противоречит тому, что принадлежат Отсюда Аналогично устанавливается, что Следовательно,

Задачи

(см. скан)

(см. скан)