7.3. Линейные регрессии и метод наименьших квадратов

Линейные регрессии. В разделах 4.2 и 5.2 было установлено, что структуры линейных регрессионных моделей очень полезны при описании основных линейных и нелинейных систем. Линейная регрессия использует предсказатель (5.34)

который линеен по в. Здесь вектор регрессоров, или регрессионный вектор. Напомним, что для ARX-структуры (4.7) имеем

В (7.31) - известный зависящий от данных вектор. Далее в этом разделе для простоты обозначений полагаем что совершенно допустимо. См. задачу

Линейная регрессия является стандартным направлением исследований в статистике. Основные свойства читатель может найти в Приложении II. Однако настоящий раздел может быть прочитан независимо от Приложения II.

Критерий наименьших квадратов. С учетом (7.31) ошибка предсказания принимает вид

и критериальная функция из (7.10), (7.11) при равна

Это - критерий наименьших квадратов для линейной регрессии (7.31). Уникальным свойством этого критерия является его квадратичность по в, получающаяся в результате линейной параметризации и квадратичности критерия. Следовательно, минимум может быть найден аналитически при условии, что существует указанная обратная матрица:

- оценка метода наименьших квадратов (МНК) (см. задачу

Введем -матрицу

и -мерный вектор-столбец

В случае содержит задержанные входные и выходные переменные, а компоненты величин (7.35) и (7.36) будут иметь вид

и аналогичные суммы произведений или для других элементов Другими словами, эта матрица и вектор-столбец будут состоять из оценок ковариационных функций Таким образом, оценка МНК может быть вычислена только с использованием этих оценок и, следовательно, имеет отношение к корреляционному анализу, описанному в разделе 6.1.

Свойства оценок МНК. Метод наименьших квадратов представляет собой частный случай метода идентификации по ошибке предсказания (7.12). Анализ его свойств, таким образом, охватывается общим рассмотрением в гл. 8 и 9. Однако, полезно провести здесь эвристическое исследование оценки МНК.

Предположим, что наблюдаемые данные генерируются в соответствии с уравнением

для некоторой последовательности Можно мыслить как истинное значение вектора параметров. Подставляя (7.37) в (7.34), получаем

Желаемые свойства должны быть следующими:

1. Оценка близка к .

2. Оценка стремится в пределе к при

Заметим прежде всего, что если и о (О в (7.37) малы по сравнению с то ошибочный член

будет мал, и, таким образом, будет близка к Чтобы исследовать, что происходит в пределе при удобно предположить, что является реализацией стационарного случайного процесса, и ограничиться случаем (7.32). Предположим, что входная последовательность квазистационарна, т. е. сходятся суммы типа

при Тогда матрица (которая состоит из таких сумм) будет сходиться (с вероятностью 1):

Аналогично при слабых предположениях с вероятностью

(Ср. с теоремой 2.3.) Таким образом

при условии, что R не вырождена. Следовательно, для того чтобы оценка МНК была состоятельна, т. е. чтобы сходилась к мы должны потребовать:

(i) R невырождена. Это будет иметь место, например, если независимы, -матрица, имеющая в качестве -элемента невырождена. В этом случае входную последовательность называют постоянно возбуждающей порядка (подробное обсуждение этого понятия дается в разделе 14.2).

(ii) h = 0. Это будет выполняться, если либо

(iia) является последовательностью независимых случайных величин с нулевыми средними значениями (белый шум). Тогда не зависит от того, что происходило до момента времени включительно, и, следовательно,

либо

(iib) входная последовательность не зависит от последовательности шумов имеющих нулевые средние значения, и в (7.32). Тогда содержит только члены , следовательно,

Если так что содержит не является белым шумом, то (обычно) Это обусловлено тем, что содержит содержит член т. е. коррелирует с Следовательно, состоятельность можно ожидать только в случаях

В случаях можно показать (см. гл. 9), что последовательность случайных величин

сходится по распределению к нормально распределенной случайной величине с нулевым средним и матрицей ковариации где дисперсия . В связи с этим вопросы планирования эксперимента (т.е. выбор свойств сводятся к задаче обеспечения "большого” значения R с учетом заданных ограничений. Эти вопросы обсуждаются в гл. 14.

Взвешенные наименьшие квадраты. Так же, как и в (7.18) и (7.19), в критерии наименьших квадратов различным измерениям могут быть назначены различные веса:

или

Выражение получающейся при этом оценки полностью аналогично (7.34):

Многомерный случай. Если выходная переменная является -мерным вектором и используется норма (7.27), критерий наименьших квадратов принимает вид

Он порождает оценку

В случае, когда мы используем конкретную параметризацию (4.53) с матричным параметром 9,

критерий наименьших квадратов принимает вид

а оценка

(см. задачу Выражение (7.47) выявляет преимущества структуры (7.45): чтобы определить оценку -матрицы, достаточно обратить -матрицу. В (7.44) в --мерный вектор, а обращению подлежит -матрица.

Цветной шум Метод наименьших квадратов имеет много преимуществ, наиболее важным из которых является возможность эффективного и однозначного нахождения глобального минимума критерия (7.33) (других локальных минимумов, кроме глобального, не существует). Его основной недостаток относится к асимптотическим свойствам, отмеченным ранее: если в разностном

уравнении

ошибка не является белым шумом, то оценка МНК не сойдется к истинным значениям При рассмотрении этой проблемы можно ввести дополнительное уравнение, моделирующее ошибку как обсуждалось в разделе 4.2; пусть, скажем,

где белый шум, а к — линейный фильтр. Использование моделей (7.49) обычно приводит к методам, отличным от МНК, за исключением двух случаев, которые мы сейчас и рассмотрим.

Известные свойства шума. Если в (7.48) и (7.49) неизвестны, но фильтр к известен (не очень реальная ситуация), имеем

Применяя фильтр к обеим частям равенства (7.50), получаем

где

Поскольку белый шум, можно применить МНК к (7.51) без каких-либо осложнений. Заметим, что это эквивалентно применению фильтра в (7.10).

Модели высокого порядка. Допустим, что шум можно хорошо описать уравнением (7.49) с где полином степени (То есть предполагается авторегрессионным процессом порядка Тогда

или

Применение МНК к (7.54) с порядками дает состоятельные оценки и поскольку белый шум. Следовательно, передаточная функция от и к у

оценивается правильно. В [28] этот подход был назван МНК с повторением. См. также [367] и [387].