15.2. Выбор нормы: робастность

Из формул (9.29)-(9.30) мы знаем, что в рамках метода ошибки предсказания выбор нормы сказывается на величине асимптотической дисперсии при условии, что Матрица ко вариации нормируется скаляром

В соответствии с результатом задачи матрица ковариации (9.79) при использовании корреляционного подхода нормируется точно так же, если положить где формообразующая функция. Следовательно, вопросы выбора и а можно рассматривать одновременно. Скаляр к зависит только от функции и от распределения истинных обновлений Пусть их плотность вероятности Тогда

Здесь штрихом и двумя штрихами обозначено дифференцирование но

Оптимальная норма. Если обратиться к дисперсии, то задача заключается в том, чтобы выбрать функцию минимизирующую Причем сама по себе эта задача может решаться достаточно независимо от исходной задачи идентификации, выбора конкретной структуры модели и пр. Имеет место следующий результат.

Лемма 15.1.

Доказательство. Интегрированием но частям получаем

Теперь из неравенства Коши следует, что

с равенством в том случае, когда

а это доказывает, что норма

обеспечивает достижение минимума в (15.3).

Лемма утверждает, что наилучший выбор состоит в том, чтобы положить

что можно рассматривать как подтверждение факта асимптотической эффективности метода максимального правдоподобия. В лемме рассматривается случай стационарной последовательности обновлений Если распределение зависит от т. е. то оптимальная норма также зависит от времени:

Это следует из того, что формула определяет оценку максимального правдоподобия. Этот факт можно установить и непосредственно (см. задачу 15Т.2). Если обновления являются гауссовыми с известными дисперсиями, то в соответствии с формулой нужно пользоваться квадратичной нормой, которая нормализуется делением на дисперсии обновлений.

Неприятной особенностью этих результатов является то, что плотность вероятности может быть неизвестна. От этого можно спастись двумя способами: одновременно оценивать или выбрать так, чтобы чувствительность к возможным заменам была минимальна.

Адаптация нормы. В первом варианте вводятся дополнительные параметы а так, чтобы можно было вести настройку нормы . В этом случае из утверждения (8.59) известно, что происходит самонастройка нормы, в процессе которой она приближается к оптимальной норме. Если будет получена достаточно приличная оценка из (15.4), то метод адаптации нормы будет давать хорошее решение. Но, как мы сейчас покажем, так может не случиться.

Чувствительность оптимальной нормы. Оптимальная нормировка дисперсий из формулы (15.2) может оказаться достаточно чувствительной к изменению плотности То есть как функция скалярная величина к может

иметь очень острый минимум при Это иллюстрируется следующим примером.

Пример 15.1. Чувствительность оптимальной нормы.

Пусть номинальная плотность соответствует нормальному распределению с дисперсией 1:

Тогда, опуская постоянную составляющую,

Допустим теперь, что с очень малой вероятностью ошибки предсказания могут принимать некоторое большое значение. Так может быть, в частности, при возникновении сбоев в измерительной технике или системе передачи данных. Такие данные называются выбросами. Итак, предполагается, что ошибка почти нормальна, по с вероятностью принимает значение 100, а с вероятностью значение . Тогда фактическая плотность описывается формулой

Это цвет

И дисперсия оказывается в 11 раз больше, хотя в абсолютном выражении вероятности изменились очень незначительно.

Робастные нормы. Очевидно, что подобная чувствительность к истинному виду плотности вероятности практически неприемлема. В большинстве случаев адаптация нормы не является выходом из положения, так как по конечному набору данных может не удастся получить достаточно точную оценку наилучшей нормы. Вместо этого нам следует поискать такие нормы, которые будут робастны (устойчивы) по отношению к неизвестным заранее изменениям плотности вероятности. Это хорошо развитый раздел статистики, см., например, монографию Хубера [184]. Удобной формализацией задачи является поиск такой нормы которая минимизирует наибольшую величину нормирующей дисперсии в некотором классе плотностей вероятности:

По терминологии Хубера такая норма дает минимаксную М-оценку. Задача (15.8) с определенной формулой (15.2), представляет собой вариационную задачу,

Рис. 15.1. Некоторые типичные варианты робастного выбора

решение которой зависит только от семейства функций В результате эта задача выводится за рамки статистической теории и то обсуждение методов решения задачи (15.8), которое составляет содержание гл. 4 книги Хубера [184], в равной степени приложимо к нашей проблематике идентификации систем.

Стандартные семейства являются "чем-то вроде” нормального закона распределения, в духе рассмотренного примера. Решения таких задач обладают той характерной особенностью, что при малых х ведет себя, как х, затем наступает насыщение с возможным спадом к нулю при увеличении х (перепускная характеристика Некоторые типовые кривые показаны на рис. 15.1.

Вернемся теперь к примеру, чтобы проверить, насколько с помощью такой нормы можно справиться с выбросами.

Пример 15.1 (продолжение).

Пусть такова, что

Тогда при из формулы (15.6)

По сравнению с (15.7) дисперсия резко уменьшается. Посмотрим теперь, насколько мы уходим от оптимальности, если бы фактическая плотность вероятности была нормальной:

Цена такого увеличения дисперсии по сравнению с номинальным случаем оправдывается в результате приобретенным иммунитетом к малым изменениям плотности вероятности.

Мы может рекомендовать следующую робастную норму

Здесь а - оценка стандартного отклонения ошибок предсказания, число в диапазоне В свою очередь оценка а тоже должна быть робастной по отношению к выбросам. Рекомендуется оценка вида

Здесь максимальное абсолютное отклонение медиане множества где медиана

Функция влияния. Основной идеей введения робастной нормы является ограничение влияния одиночных наблюдений на получающуюся оценку. Резонно спросить, как изменится оценка, если бы некоторое наблюдение оказалось удаленным. Для оценки по методу наименьших квадратов можно дать точный ответ. Из формулы

где оценка по полной выборке, оценка по выборке без наблюдения Кроме того,

Таким образом, влияние наблюдения можно оценить величиной

После некоторых упрощений это выражение оказывается функцией типа функции влияния Хампеля [161]. При обобщении на произвольные нормы и модельные структуры влияние измерения в момент можно приблизительно оценить величиной

где

Сравните с (11.52). Если рассматривать робастные нормы как на рис. 15.1, то можно было бы поставить вопрос о минимизации величины

Чисто прагматически имеет смысл критически переоценить величину из (15.12) уже после того, как подгонка параметров завершена, с тем, чтобы выявить те наблюдения, которые существенно влияют на величину оценки. И эти наблюдения должны быть либо сделанными более надежными, либо их влияние нужно уменьшить.

Обнаружение выбросов. Такие острые выбросы, как на рис. 15.1, и те точечные данные, которые сильно влияют на оценки, часто обнаруживаются на реализации невооруженным взглядом. В грамотных приложениях даже при использовании робастных норм данные, прежде чем они будут применены для идентификации, выводятся на дисплей. Проще всего обнаруживать выбросы по диаграммам невязок См. разделы 14.6 и 16.5.

Многомерный случай. Матрица ковариации для многомерных систем определяется формулой (9.47). Варианты функции действующей из достаточно близки к возможным вариантам, обсуждавшимся анее для одномерного случая. Однако в многомерном случае возникает новый вопрос - как соразмерить отдельные компоненты вектора Проиллюстрируем это на примере семейства (7.28) и (7.29) квадратичных критериев.

Ковариационная матрица, связанная с квадратичной нормой из (7.27), в соответствии с формулой (9.47) (см. также задачу имеет вид

Здесь матрица ковариации истинных обновлений. Непосредственно проверяется (сравните с задачей

так что выбор наилучшей нормы требует знания истинной ковариации. Так как в любом случае минимизация (7.29) ведется итеративно, то само собой разумеющимся является следующий рекуррентный алгоритм достижения равенства

где это номер итерации.

Интересно отметить, впрочем, что критерий

дает ту же асимптотическую матрицу ковариации для что и квадратичная норма (7.27), где А - ковариация истинных обновлений. См. задачу 9Е.5 и формулы