4d.5. Робастные оценки.

Полученная выше граница Крамера — Рао в сильной степени зависит от предположения о нормальности распределения. Если распределение не нормально, неравенство в может не выполняться, а квазимаксимально правдоподобная оценка обязательно будет иметь минимальную среднеквадратическую ошибку даже в классе несмещенных оценок.

Если распределение не нормально, можно рассмотреть две возможности. Если распределение ненормально, но известно, то можно найти оценку наибольшего правдоподобия, которая максимизирует функцию правдоподобия, отвечающую заданной плотности вероятности помехи. При этом дисперсия оценки опять-таки равна нижней границе Крамера — Рао.

Вторая возможность более интересна. Положим, мы не знаем точно вероятностного распределения, но знаем, что оно приблизительно нормально, т. е. является, скажем, смесью нормального и некоторого другого неизвестного распределения в пропорциях 95% и 5% соответственно. Вопреки интуиции, средний квадрат ошибки квазимаксимально правдоподобной оценки очень чувствителен к малым изменениям распределения вероятностей, несмотря на то, что нижняя граница Крамера - Рао для среднего квадрата ошибки не столь чувствительна к малым отклонениям от нормальности. Таким образом, в случае смеси распределений квазимаксимально правдоподобная оценка неудовлетворительна; необходимо обратиться к новому классу так называемых робастных оценок, обладающих следующими свойствами.

Если распределение помехи точно нормально, то средний квадрат ошибки робастной оценки лишь не намного больше среднего квадрата ошибки квазимаксимально правдоподобной оценки. Однако, если помеха имеет распределение типа смеси, то средний квадрат ошибки робастной оценки изменяется не очень сильно, тогда как для квазимаксимально правдоподобной оценки изменение может быть весьма значительным. Таким образом, средний квадрат ошибки для робастной оценки в случае смеси распределений оказывается значительно меньшим, чем для квазимаксимально правдоподобной оценки.

Робастное оценивание параметров по независимым одинаково распределенным наблюдениям широко обсуждается Андрьюсом и др. (1972). Однако применение теории робастного оценивания к временным рядам разработано недостаточно. Из предварительных результатов Нэсбурга, Кашьяпа (1975) следует, что вычисление робастных оценок параметров процесса ARMA не сложнее вычисления квазимаксимально правдоподобных оценок тех же параметров.

4е. Заключение

Мы рассмотрели различные проблемы оцениваемости коэффициентов стохастического разностного уравнения с одной искомой функцией: влияние обратной связи, влияние аддитивного шума в наблюдениях, влияние присутствия детерминированного тренда. Кроме того, обсуждалась точность оценок различных коэффициентов уравнения. Использовались квазимаксимально правдоподобные оценки, поскольку для их состоятельности не требуется каких-либо ограничительных предположений, таких как (A3), представляющих собой требования независимости входного сигнала и от возмущения Были рассмотрены влияние функций тренда на точность оценок, условия удовлетворительного качества квазимаксимально правдоподобных оценок, а также применения робастных оценок.

Приложение 4.1

А. Доказательство теоремы 4а.1. Поскольку необходимость уже была доказана в тексте, докажем здесь только достаточность. Доказательство довольно длинное, что вызывается отказом от использования предположения Более того, условие влечет лишь условие на функцию тренда, но не более сильное условие Можно было бы дать относительно простое доказательство оцениваемости, считая выполненными условия Однако доказательство этого здесь не приводится, поскольку многомерный аналог появится позже как теорема 5b.2. Доказательство теоремы 5b.2 относительно простое; оно проще приводимого здесь. Пусть задано уравнение

Размерность вектора равна — скаляр; — вектор неизвестных оцениваемых параметров. Используя заданные наблюдения и оценку параметра , можно рекуррентно вычислить оценку функции

Заметим, что согласно при больших Рассмотрим критериальную функцию

Оценка для получается из условия минимума Приближенное выражение для получается при использовании квадратичной аппроксимации с помощью формулы Тейлора

где

Минимизируя квадратичный член приведенного выражения,

получим следующее уравнение для аппроксимирующего

Непосредственно дифференцируя получаем

где

Пусть

собственные значения матрицы а унитарная матрица такова, что

Используя лемму 1 (см. ниже), мы покажем, что асимптотически невырожденная. Умножая обе части (4) на слева и подставляя (6) в (4), получим

где

Сейчас нам понадобятся нижеследующие леммы, доказательства которых приводятся ниже.

Лемма 1. Собственные значения являются монотонно возрастающими функциями стремится к постоянной положительно определенной матрице.

Лемма 2. Правая часть равенства (7), а именно имеет конечное среднеквадратическое значение. Лемма 3. Матрица асимптотически стремится к нулю. Уравнение (7) можно разрешить относительно его решение, согласно леммам существует и имеет конечное среднеквадратическое значение. Поскольку неособенная, монотонно возрастающие функции от при всех стремящиеся к бесконечности при

сходится к нулю с вероятностью 1, поскольку конечна.

Доказательство леммы 1. Дифференцируя уравнение (2) по 0, получим разностное уравнение для

Предположим, что для всех Мы можем выразить 0) через

Пусть

и

При любом -векторе имеем

где поскольку строго положительно определенная матрица. Таким образом,

при в силу Поскольку в качестве в (10) можно взять любой собственный вектор матрицы то являются монотонно возрастающими функциями стремящимися к бесконечности. Следовательно, также асимптотически положительно определенная матрица. Из определения следует, что сходится к постоянной положительно определенной матрице при

Доказательство леммы 2. Покажем, что вектор сходится при к конечному вектору. Для этого умножим этот вектор на транспонированный к нему, заменим по формуле (5) и перейдем к математическим ожиданиям. Двойную сумму разобьем на три группы слагаемых

соответственно случаям

Покажем, что второй и третий члены правой части равны нулю. Выражение в фигурных скобках во втором слагаемом в (11) обозначим через

Второе слагаемое в (11) равно нулю, так как

в силу предположения о независимости от для всех . Итак, второе слагаемое в (11) равно нулю. Аналогичным образом можно показать, что третье слагаемое в (11) также равно нулю. Поэтому выражение в левой части равенства (11) приводится к виду

и является конечным в силу леммы 1.

Доказательство леммы 3. Напомним, что

где

и

Дифференцируя разностное уравнение для видим, что является функцией от и, следовательно, не зависит от в Используя этот факт, можно показать, как и при доказательстве леммы 2, что величина имеет конечный средний квадрат, т. е. конечна. Следовательно, выражение в (13) сходится к нулю асимптотически в среднеквадратическом, поскольку содержит множитель

В. Среднеквадратическая ошибка квазимаксимально правдоподобной оценки при больших Отправляемся от уравнения (7), выведенного выше:

опустив член согласно лемме 3. При больших член в (16) можно заменить его пределом являющимся, в силу леммы 1, постоянной положительно определенной матрицей. Выполнив эти преобразования, из (16) получим

Умножая члены в левой и правой частях (17) на транспонированные к ним и беря математические ожидания, получим

Вспоминая, что не зависит от правую часть

(18) можно упростить:

В (19) матрицу можно заменить ей эквивалентной, определяемой формулой, непосредственно следующей за формулой (7). Учтем также, что унитарна. Сокращая на левый множитель и правый множитель из (19) получим следующее выражение для матрицы вторых моментов ошибок:

Приложение 4.2. Вычисление нижней границы Крамера — Рао для систем с одним выходом,

Напомним, что

Для различных производных получаем следующие выражения:

Рассмотрим математическое ожидание второго члена в правой части (23) при

в силу поскольку зависит лишь от прошлых значений 1). Аналогичным образом равно нулю математическое ожидание выражения (25). Из (26) получаем

Следовательно,

Используя находим

Задачи

(см. скан)