II.3. Некоторые другие вопросы оценивания по наименьшим квадратам

Выбор регрессоров. Основной проблемой при применении регрессионного анализа к практическим задачам является назначение хорошего набора регрессионных переменных. Это означает, что необходимо определить, какие из неременных могут влиять на выходную величину в Очевидно, это существенно зависит от прикладной задачи и требует хорошего понимания описываемого процесса. При выборе можно, однако, учитывать некоторые формальные процедуры, описанные в литературе по статистике.

Определение регрессоров в соответствует выбору структуры модели при постановке задачи идентификации. Более детально эта проблема обсуждается в гл. 16, а здесь дается лишь краткое изложение.

Основное средство состоит в исследовании последовательности невязок определенных (11.37). Если выполняются соотношения -( дает правильное описание процесса, то должна равняться в и быть, таким образом, последовательностью случайных величин. Такая гипотеза может быть проверена различными способами. Кроме того, последовательность невязок не должна коррелировать со всеми потенциально возможными регрессорами. Если это не так, потенциальный регрессор может внести свой вкладе предсказание и его следует включить в число регрессоров. Этот путь может быть плодотворным в проведении поиска информативных регрессоров. В [90] содержится описание практического прибора для этих целей.

Другой способ определения, следует ли включать потенциальный регрессор в множество регрессоров, состоит в проверке того, приводит ли это к значительному уменьшению критериальной функции Должно быть ясно, что минимальное значение критериальной функции будет автоматически уменьшаться при добавлении нового регрессора независимо от того, действительно ли он коррелирует с выходом. Это следует из того, что минимизация проводится но более широкому множеству. В качестве простого примера рассмотрим процесс при Критериальная функция

имеет среднее значение Если минимизация проводится по -мерному регрессионному пространству в, получаем

а в соответствии с леммой 11.1 среднее значение этой величины равно Таким образом, наблюдается среднее уменьшение критериальной функции на несмотря на то, что в не зависел от регрессоров. Улучшенная подгонка является ложной и может рассматриваться как сверхподгонка под частную реализацию

Следовательно, наблюдаемое уменьшение значения при добавлении новых регрессоров должно сопоставляться с этой сверхподгонкой. Различные пути осуществления этого обсуждаются в гл. 16. Здесь приведем следующий формальный результат.

Лемма 11.4. Допустим, что данные могут быть описаны уравнением

где белый гауссовский шум с дисперсией Положим

Рассмотрим другую регрессию с некоторыми дополнительными регрессорами

и положим

Пусть

Тогда

Доказательство, является переформулировкой леммы следствие по определению -распределения. Доказательства аналогичны доказательству леммы II.2.

Лемма означает, что если выполняется (11.81) и включение ”не является необходимым", то нормализованное уменьшение критерия распределено в соответствии с (11.84). Если наблюдаемое уменьшение значительно больше (т.е. если следует сделать вывод, что включение полезно и что, следовательно, (11.81) не выполняется. Напомним, что -раснределение часто может быть аппроксимировано -распределением для больших

Множественная регрессия.

Иногда исследуются вопросы одновременного предсказания нескольких, скажем переменных. Это означает, что переменная будет -мерным вектором. На языке теории систем управления это соответствует многомерным системам. Большая часть того, что было сказано здесь относительно линейной регрессии,

будет справедливо также и для многомерного случая, хотя некоторые алгебраические выражения принимают несколько другую форму.

Удобно различать два случая:

1. Для каждой компоненты используется один и тот же набор регрессоров. Обозначим регрессоры -мерным вектор-столбцом Затем запишем регрессию в виде

где теперь в -мерная матрица с столбцом, состоящим из коэффициентов, соответствующих компоненте у. Число оцениваемых параметров, таким образом, Критерий наименьших квадратов принимает вид

и достигает минимума при

(см. задачу

2. Разные наборы регрессоров для различных компонент у. В случае, когда различные выходы связаны с различными наборами регрессоров, приходится вводить -мерную матрицу столбец которой содержит регрессоры, соответствующие выходу, и, зачастую, несколько нулей. Тогда регрессия записывается в виде

где в -мерный вектор-столбец. Критерий наименьших квадратов принимает вид

Здесь можно использовать квадратичные нормы обшего вида, чтобы придать разные веса различным компонентам .У (О - Аргумент, минимизирующий имеет вид

(см. задачу

Сравнивая (11.90) с (11.87), видим преимущество структуры чтобы определить оценку в (11.87), достаточно обратить -матрицу. В (11.90) в — -вектор и нужно обращать -матрицу.

Корреляционная интерпретация и метод инструментальных переменных. Существует следующая полезная интерпретация метода наименьших квадратов. Пусть задано описание

умножим обе части на и просуммируем по Приходим к

соотношению

При условии некоррелированности возмущения и регрессионного вектора означающего малость последнего слагаемого правой части, находим, что оценка: наименьших квадратов

является разумной оценкой Таким образом, используя последовательность регрессоров, получили декоррелированный из шума параметр

В некоторых случаях можно ожидать наличие корреляции между шумом и регрессорами. Тогда естественным развитием предыдущей корреляционной идеи было бы использование -мерной векторной последовательности не коррелирующей с шумом, но коррелирующей с регрессором. Умножение на и суммирование по приводит к равенству

Если имеет два указанных выше свойства, находим, что разумной оценкой является

Эта оценка была введена Рейерсьюлом [336], а некоторые связанные с ней детали обсуждались в [212]. Она известна как оценка инструментальных переменных, а называются инструментальными переменными или инструментами. Остается обсудить способы выбора и это делается в разделе 7.4 в связи с приложением к динамическим системам.

Нелинейные регрессии.

Характерной чертой модели линейной регрессии является то, что функция регрессии линейна по параметру Часто приходится рассматривать более общие способы параметризации функции регрессии:

Таким образом, получаем нелинейную регрессию

Можно по-прежнему использовать взвешенный критерий наименьших квадратов

как меру близости, и оценкой становится

(в точности как в и . Важное отличие состоит в том, что может оказаться невозможным точное определение выражения для 0, как в (11.10), но можно применить численные итеративные процедуры.

Дальнейшее обобщение связано с использованием иеквадратичной меры близости в Пусть функция, принимающая положительные значения и измеряющая размерах , и возьмем

Величина (11.96) и является» очевидно, более обшей и более сложной, чем (11.7) и (11.8), но она основана на тех же идеях. Прагматическая интерпретация Гауссом критерия наименьших квадратов как меры близости данных истории достаточно хорошо применима и к Этот способ выбора оценки имеет смысл также вне вероятностною подхода.

II.4. Задачи

(см. скан)