14.6. Предварительная обработка данных

Когда с помощью идентификационного эксперимента данные уже собраны, они, по всей вероятности, не годятся для непосредственного использования в алгоритмах идентификации. Данные могут иметь различные недостатки:

1. Высокочастотные возмущения, выше частот, представляющих интерес в отношении динамических свойств системы.

2. Редкие выбросы и зашкаливания.

3. Дрейф и сдвиги, низкочастотные возмущения, возможно, периодического характера.

Необходимо подчеркнуть, что в задачах идентификации по накопленным данным всегда следует прежде всего изобразить данные графически для просмотра на предмет этих недостатков. В данном разделе будут обсуждаться способы улучшения данных с целью избежать проблем при дальнейшем использовании процедур идентификации.

Высокочастотные возмущения. Возмущения типа 1 указывают, что выбор интервала дискретизации был осуществлен не достаточно успешно. Если после эксперимента оказывается, что интервал дискретизации был излишне мал, всегда есть возможность проредить последовательность данных, выбирая каждое 5-е наблюдение из исходной записи. При этом цифровой фильтр, предназначенный для защиты от наложения спектров, должен применяться до этой процедуры разрежения выборки так, как обсуждалось в разделе 14.5.

Выбросы и зашкаливания. Единичные большие значения измеренных данных могут существенно повлиять на получаемую оценку. Необходимо защитить оценку от плохих данных. Обычно это достигается с помощью критериев робастной идентификации, обсуждаемых в разделе 15.2. Заметим, что плохие данные, как правило, легче всего обнаружить на графике невязки (см. раздел 16.5). Очевидные ошибочные измерения можно также изменить от руки соответствующим образом интерполированным значением. Упомянем алгоритмы обнаружения сбоев [438], которые могут использоваться в приложениях для выявления плохих данных. Напомним, однако, что изменение данных представляет собой некоторое жульничество, и оно должно выполняться с особой осторожностью.

Медленные возмущения: общие замечания. Низкочастотные возмущения, сдвиги, тренды, дрейф и периодические (сезонные) изменения не являются редкостью. Они обычно проистекают от внешних источников, которые можно включать или не включать в модель. Существуют в основном два различных подхода к таким проблемам:

1. Удаление возмущений посредством специальной предварительной обработки данных.

2. Введение модели шума для учета возмущений.

Первый подход включает удаление трендов и сдвигов путем непосредственного вычитания, а второй основывается на моделях шума с полюсами на или вблизи окружности единичного радиуса подобно ARIMA-моделям интегрирование), нашедшим большое применение в подходе Бокса — Дженкинса [62].

Проиллюстрируем прежде всего два подхода, применяемых в случае сдвигов. Стандартные используемые здесь модели типа

устанавливают как динамические свойства системы, так и статическое соотношение между постоянным входным сигналом и результирующим установившимся значением выхода

На практике собирают и записывают необработанные входо-выходные измерения, скажем, в физических единицах, уровень которых может быть совершенно произвольным. Уравнение (14.80), описывающее динамические свойства, может, следовательно, иметь малое отношение к уравнению (14.81), касающемуся уровней сигналов. Другими словами, (14.81) представляет собой совершенно ненужное ограничение для (14.80). Существуют по крайней мере пять способов решения этой проблемы:

К Пусть отклонения от физического равновесия. Наиболее естественный подход состоит в определении уровня у, который соответствует постоянному значению вблизи желаемой рабочей точки. Тогда определяем

как отклонения от этого равновесия. Эти новые переменные будут автоматически удовлетворять равенству (14.81), обе части которого будут нулевыми, и, адекватно, (14.81) не будет влиять на процесс подгонки в (14.80). Этот подход подчеркивает физическую интерпретацию (14.80) как линеаризацию около положения равновесия.

2. Вычитание выборочных средних. Второй подход сводится к определению

и последующему использованию (14.82). Если входная переменная имеет значения вокруг и порождает изменение выходной переменной около у, то точка должна быть, вероятно, близка к точке равновесия системы. Подход 2, таким образом, близок к первому подходу.

3. Явное оценивание сдвига. Можно также моделировать систему с использованием переменных в исходных физических единицах, добавляя константу для учета сдвигов:

Сравнивая (14.80) — (14.82), видим, что а соответствует разности При этом величина а включается в вектор параметров в и оценивается по данным. Оказывается, что этот подход фактически представляет собой небольшую вариацию второго подхода. См. задачу 14D.2.

4. Использование модели шума с интегрированием (взятие разностей данных). Константа а в (14.84) может рассматриваться как постоянное возмущение, моделируемое в виде

где единичный импульс в нулевой момент времени. Тогда модель принимает вид

где комбинированный шум вида Сдвиг а может, таким образом, быть описан посредством замены модели шума с на . В соответствии с замечанием к (7.14) это эквивалентно предварительной фильтрации данных с помощью фильтра т. е. взятию разностей данных:

5. Расширение модели шума. Заметим, что модель (14.86) становится частным случаем (14.80), если увеличить порядки полиномов в (14.80) на 1. Тогда общий множитель может быть включен в и Это означает, что модель повышенного порядка, примененная к необработанным данным будет сходиться к модели типа (14.86).

Сопоставление подходов. В задачах идентификации по накопленным данным при наличии сдвигов прежде всего рекомендуется использовать первый подход или, если эксперимент с установившимися значениями не возможен, второй подход. Явное оценивание сдвига (подход 3) представляет собой излишне сложный способ вычитания выборочного среднего. Взятие разностей данных типа (14.87) будет, в соответствии с гл. 13, приводить к подгонке в высокочастотной области, что во многих случаях не удобно. Подход 5 имеет дополнительный недостаток, состоящий в увеличении числа оцениваемых параметров.

Особенно важно устранить сдвиги (тренды и дрейфы) при использовании методов, основанных на фиксированной модели шума, как, например, методы ошибки на выходе. Расхождение уровней будет при этом доминировать в критерии подгонки, а динамические свойства отойдут на второй план. Для методов, использующих гибкие модели шума (как, например, метод наименьших квадратов) эта проблема выражена менее явно, так как эффекты подхода 5 будут автоматически ретушировать важность уровней сигналов.

Дрейфы, тренды, сезонные изменения. Методы борьбы с другими медленными возмущениями данных полностью аналогичны подходам, которые обсуждены выше. Дрейфы и тренды могут рассматриваться как изменяющееся со временем равновесие. Вместо постоянного уровня сдвига в (14.83) можно использовать для аппроксимации данных отрезки прямых или куски кривых линий, и рассмотреть отклонения во времени от этих переменных средних. Для учета сезонных изменений были разработаны различные методы такого же характера, предназначенные для обработки временных рядов в экономических приложениях (см., например, [62]).

Другой подход состоит в высокочастотной фильтрации данных, аналогичной (14.87) или, что эквивалентно, в использовании ARIMA-структур модели, содержащих интегратор в модели шума. Наоборот, модель шума может быть задана внешними условиями для нахождения самого интегратора (или комплексных пар полюсов на окружности единичного радиуса для вычисления периодических изменений). Последняя проблема всесторонне обсуждалась в [143].