6.1. РЕГРЕССИОННЫЙ АНАЛИЗ

Линии и плоскости регрессии

Элементарным введением в регрессионный анализ может служить случай двух переменных [1, 8]. Пусть х и у — случайные величины с совместной плотностью

вероятности Если эта функция непрерывна по у, то условную плотность вероятности у по х можно записать

По этой функции необходимо определить функциональные зависимости, например условное математическое ожидание у при фиксированном х

Эта функция называется линией регрессии у по х. Можно показать ([1], стр. 96), что линия регрессии дает наилучшую оценку у в смысле минимума среднеквадратической ошибки.

Точно так же определяется любая функциональная зависимость без ограничений на

Однако можно потребовать, чтобы эта функция принадлежала к какому-то классу функций, например к классу всех линейных функций или к классу полипомов заданной степени. Выбор такого класса и минимизация среднеквадратической ошибки ведут к среднеквадратическим линиям регрессии.

Пример. Пусть нужно найти наилучшую аппроксимацию у линейной функцией

Такая аппроксимация называется линейной регрессионной моделью, а коэффициентами регрессии. Нужно минимизировать

где оператор математического ожидания означает интеграл В дальнейшем будут использоваться следующие обозначения (см. приложение :

Дифференцирование (6.4) по с приравниванием полученных результатов нулю дает

Отсюда следует, что

Подстановка этих выражений для в (6.3) приводит к уравнению линии регрессии

Читатель может самостоятельно записать формулу для случая двумерного нормального распределения

Эти идеи можно использовать для отыскания наилучших нелинейных регрессионных моделей, папример полиномиальных моделей вида Может оказаться полезным набор ортонормальных полиномов (см. [1], стр. 115). Это полиномы х, степени для которых выполняются условия ортогональности

где

представляет собой маргинальную плотность распределения вероятностей х. Если теперь положить

то нужно минимизировать

Дифференцируя по получаем

Приравнивая производные нулю при силу ортонормальности будем иметь

Таким образом, не нужно решать систему линейных алгебраических уравнений. Это особенно удобно, так как по мере увеличения порядка модели система линейных уравнений часто становится почти вырожденной.

Эти идеи можно распространить на многомерный случай, когда условная плотность вероятности имеет вид

Класс функций точно так же может быть ограничен, например, классом линейных функций. В этом случае выбор

приводит к среднеквадратической гиперплоскости регрессии для у как функции если минимизируется математическое ожидание

Если все случайные величины предполагаются центрированными, то коэффициент а может быть опущен.

Дифференцирование по и приравнивание производных нулю при приводят к следующей системе уравнений:

Если ковариациоппая матрица иевырождена, то эту систему линейных алгебраических уравнепий можно решить относительно коэффициентов регрессии Если же сложпее полинома (например, включает экспоненты), то соответствующую систему уравнений трудно разрешить относительно коэффициентов регрессии.

Оценивание по конечному числу наблюдений

До сих пор предполагалось, что все математические ожидания могут быть вычислены, т. е. известна совместная плотность распределения Так бывает довольно редко. Обычно необходимо оценивать параметры, используя конечное число наблюдений, а именно выборочные значения. Таким образом, оценка должна быть функцией этих выборочных значений, которые фактически представляют собой наблюдаемые значения реализаций случайных величин. Это означает, что оценка тоже случайная величина и может быть охарактеризована плотностью вероятности. Качество оценки зависит от этой фупкции и, в частности, от среднего значения и дисперсии.

Излагаемые методы имеют длинную историю. Уже в 1795 г. Гаусс использовал их при исследовании движения планет. В наши дни они применяются, например, при определении параметров орбит спутников. Следует отметить, что, помимо обычных регрессионных моделей

Где случайная величипа, в литературе [12, 13] рассматриваются также авторегрессионная модель

и обобщенная регрессионная модель

(См. также [9, 11, 14, 16, 17].)

Обозначения. Теперь посмотрим, как получаются оценки. Пусть наблюдается выходной сигнал объекта у. Как и в гл. 2, у состоит из отклика на входное воздействие и, шума объекта и ошибок измерений. В момент измерения выходной сигнал имеет вид

Вектором обозначена зависимость выборочных значений от компонент вектора параметров объекта Определим

Шум зададим его математическим ожиданием и ковариационной матрицей:

Задача состоит в том, чтобы определить оценку вектора параметров Для этого используется теоретически предсказываемый выходной сигнал т. е. выход модели, который зависит от вектора коэффициентов Эта функциональная зависимость может быть выбрана различными способами. Простейшей является

линейная функциональная связь между и (линейная по параметрам модель, см. разд. 4.6)

где известные линейно независимые функции. Запишем в виде

где

Снова заметим, что такой выбор линейной связи между и не означает того, что связь между входом и выходом модели должна быть линейной, Предполагается, что матрица полностью известна, т. е. может быть измерена без ошибок. Кроме того, предполагается, что число наблюдений к превышает число неизвестных параметров.

Линейные несмещенные оценки

Класс линейных несмещенных оценок определяется следующими свойствами:

где -матрица, и

Предполагается, что равенство (6.20) может дать полное описание объекта, т. е.

Допустим сначала, что статистически независимы. Теперь вектор ошибки можно определить как

В качестве фупкции ошибок или функции потерь можно выбрать положительно определенную форму

где матрица весовых коэффициентов Без потери общности можно предположить, что эта матрица симметрична. Функция ошибок может быть записана в виде

Так как симметричная матрица, то

Дифференцирование этого выражения по дает (см. приложение В)

Последнее выражение можно записать в виде

При некотором выражение (6.29) обращается в нуль. Отсюда находим обеспечивающее экстремум функции ошибок Е:

Эту систему называют системой нормальных уравнений. Если невырожденная матрица, то

Нетрудно показать, что при функций ошибок принимает минимальное зпачение. Это значение называется остаточной ошибкой (основанной на к наблюдениях).

Здесь уместно сделать несколько замечаний:

1) Конечно, уравнение (6.31) можно решить методами вариационного исчисления:

или

при произвольном (припцип ортогональности).

2) Прямое доказательство того, что достигает минимума, может быть основано на стандартном приеме

анализа членов второго порядка по Из формулы (6.27) имеем

Очевидно, что при удовлетворяющем уравнению (6.31), достигает минимума.

3) В качестве мнемонического правила может оказаться удобным использовать то, что

умножается на

Так как второе слагаемое неизвестно, не измеряется и предполагается, что статистически независимы, то это слагаемое отбрасывается. В результате получается оценка истинного значения [см. формулу (6.30)]. Естественно, такой способ вывода уравнения (6.31) не показывает, в каком смысле оценка оптимальна.

Эта оценка обладает свойством линейности, поскольку

Из формул (6.31) и (6.24) следует, что

Поскольку входной сигнал и шум статистически независимы,

А так как уже предполагалось, что то оценка является и несмещенной:

Отсюда следует, что

т. е. математическое ожидание выхода модели равно выходу объекта без аддитивного шума.

Желательно определить еще одну характеристику оценки [формула (6.31)] — ее дисперсию. Интересно также оценить корреляцию между компонентами вектора (3. Все эти характеристики можно определить с помощью ковариационной матрицы

По-прежнему предполагается, что справедливо соотношение (6.24) и статистически независимы. Тогда, используя формулу (6.32), находим

Следовательно,

Будет показано, что в нескольких практически интересных случаях это выражение можно существенно упростить. Главная диагональ матрицы состоит из оценок дисперсий оцениваемых параметров.

Оценки по методу наименьших квадратов [26, 27]

При использовании метода наименьших квадратов минимизируется выражение

Таким образом, в уравнении (6.26) и вытекающих из него уравнениях

И из формул (6.30), (6.31) и (6.35) получаем

или

и

Если квадратная матрица, т. е. если размер выборки равен числу оцениваемых параметров, и если матрица

имеет обратную, то

откуда

С инженерпой точки зрения этот случай не представляет особого интереса, поскольку случайные возмущения не учитываются. Для уменьшения влияния шумов размер выборки должен быть гораздо больше числа параметров.

Если в уравнении (6.37) выразить все величины через то нетрудно получить

Ортогональпость или ортонормальность пробных сигналов может привести к существенным упрощениям (см. гл. 4). В случае ортонормальности

и

или

Можно дать простую геометрическую интерпретацию оценок метода наименьших квадратов для случая двумерного вектора параметров (фиг. 6.1). Необходимо минимизировать длину вектора

Фиг. 6.1.

Если вектор ортогонален к и

Следовательно,

или

т. е. имеем уравнение (6.37).

Марковские оценки (оценки обобщенного метода наименьших квадратов)

При использовании марковских оценок минимизируется выражение

Следовательно,

и из формул (6.30), (6.31) и (6.35) находим

или

и

Так как ковариационная матрица (6.46) входит в формулу для оценки (6.45), оценка и ковариация определяются одновременно. Диагональные элементы (6.46) представляют собой дисперсии оценок параметров, остальные элементы матрицы — коэффициенты корреляции между оценками разных параметров. Если к то дисперсии оценок стремятся к нулю и, следовательно, оценки являются состоятельными (см. разд. 5.1).

Используя матричное неравенство Шварца (см. приложение В), можно легко показать, что эта линейная несмещенная оценка обладает минимальной дисперсией. Неравенство Шварца имеет вид

Выбирая получаем

Так как

или

т. е. матрица

не отрицательно определена. Здесь любая другая линейная оценка. Это означает, что оценка эффективна (см. разд. 5.1).

Из предыдущих разделов ясно, что если аддитивная помеха — белый шум, т. е.

то

и

Как отмечалось в гл. 5, для гауссовских шумов оценки метода наименьших квадратов и марковские оценки

совпадают с оценками максимального правдоподобия, все они обладают минимальной дисперсией в классе несмещенных оценок.

Класс линейных несмещенных оценок порождается минимизацией положительно определенной формы

Таким образом, выбор приводит к оценкам метода наименьших квадратов и марковским оценкам. Можно было бы выбрать иначе, например, как матрицу весовых коэффициентов, учитывающую возможную нестационарную аддитивную помеху. В этом случае необходимо минимизировать следующую функцию ошибок:

где дисперсия шума в момент времени