Глава 3. ЛИНЕЙНАЯ РЕГРЕССИЯ: ОЦЕНИВАНИЕ И РАСПРЕДЕЛЕНИЯ

3.1. Оценивание по методу наименьших квадратов

Пусть К — некоторая случайная величина, флюктуирующая вокруг некоторого неизвестного параметра т. е. где флюктуация или "ошибка". Например, может быть "естественной" флюктуацией, присущей самому эксперименту, приводящему к значению или может представлять собой ошибку в измерении значения так что является истинным откликом, а — наблюдаемым откликом.

Предположим теперь, что можно представить в виде

где известные постоянные (например, величины, которые в процессе опыта находятся под контролем экспериментатора и измеряются с пренебрежимо малой ошибкой}, a - неизвестные параметры, подлежащие оцениванию. Если значения изменяются и при этом наблюдается значений переменной У, то

где представляет собой значение для Записывая эти уравнений в матричной форме, получаем

или

где Матрица X размера называется регрессионной матрицей. При этом значения обычно

выбираются таким образом, чтобы столбцы этой матрицы были линейно независимы, т. е. чтобы ранг матрицы X был равен Однако в некоторых случаях при планировании, эксперимента элементы матрицы X выбираются равными только нулю и единице, и ее столбцы могут оказаться линейно зависимыми. В такой ситуации матрицу X обычно называют матрицей плана.

Раньше об обычно говорили как о независимых переменных, называли зависимой переменной. Однако такая терминология приводит к путанице. Поэтому мы будем следовать более современной терминологии и говорить об как о регрессоре или предикторной переменной, будем называть откликом.

Отметим, что модель (3.1) является весьма общей, Например, полагая , получаем полиномиальную модель

Модель

также является частным случаем модели (3.1). Существенная черта модели (3.1) состоит в том, что эта модель линейна по отношению к неизвестным параметрам По этой причине ее называют линейной моделью. Напротив, модель

является нелинейной, так как она нелинейна по параметру

Прежде чем заняться рассмотрением задачи оценивания вектора заметим, что вся теория в этой и последующих главах строится для модели (3.2), в которой не обязательно равняется единице. При этом в случае у читателя может возникнуть сомнение в целесообразности использования для индекса значений от 0 до вместо значений от 1 до Поскольку, однако, построенная теория в основном применяется для случая то удобно "отделить" от других сразу.

Одним из методов получения оценки вектора является так называемый метод наименьших квадратов. Этот метод заключается в минимизации суммы по отношению к вектору Точнее говоря, полагая мы минимизируем величину по отношению к где - образ оператора X, т.е. для какого-нибудь х. Если изменять значения вектора 0 в пределах то (квадрат длины вектора достигнет минимума при том значении для которого с рис. 3.1). Поэтому

или

Вектор определяется однозначно, поскольку он является ортогональной проекцией вектора V на (см. приложение В). Если теперь столбцы матрицы X линейно независимы, то существует единственный вектор для которого

Рис. 3.1. Метод наименьших квадратов состоит в нахождении такой точки А, для которой расстояние минимально.

Производя соответствующую подстановку в (3.4), получаем так называемое нормальное уравнение (нормальные уравнения)

Поскольку мы предполагаем, что матрица X имеет ранг то матрица положительно определена следовательно, не вырождена. Поэтому уравнение (3.5) имеет единственное решение, а именно

Это решение называется (обычной) оценкой наименьших квадратов вектора Вычислительные методы для практического отыскания такой оценки приведены в гл. 11.

Отметим, что можно получить также, представляя в виде

(используя тот факт, что и дифференцируя по Приравнивая полученную производную нулю, приходим к уравнению

или

Решение этого уравнения (относительно дает стационарное значение функции ее, а одно простое алгебраическое тождество (см. 1-е из упражнений За) показывает, что является минимумом.

Кроме метода наименьших квадратов, имеется и ряд других методов, используемых для оценивания Эти методы описаны в § 3.10.

Эмпирическая аппроксимирующая регрессия обозначается символом Элементы вектора

называются остатками (мы обозначили здесь для краткости через . Минимальное значение ее называется остаточной суммой квадратов Оно равно

(здесь мы использовали (3.5)), или

Отметим, что и единственны.

Пример 3.1. Пусть и -независимые случайные величины со средними соответственно. Найдем оценку наименьших квадратов для и остаточную сумму квадратов.

Решение. В данном случае

так что где Используя полученные в этом параграфе результаты, имеем

и

Ту же задачу можно решить и другим способом, отмеченным выше. Поскольку здесь то из уравнения получаем, что Поэтому

На практике используются оба указанных способа.

Поскольку то является матрицей линейного преобразования, представляющего собой ортогональное проектирование -мерного евклидова пространства на Подобным же образом представляет собой матрицу ортогонального проектирования на ортогональное дополнение к Поэтому выражение представляет собой единственное ортогональное разложение вектора на две составляющие, одна из которых лежит в а другая — в Некоторые основные свойства матриц доказаны в теореме 3.1, хотя эти свойства и вытекают непосредственно из более общих результатов относительно матриц ортогонального проектирования, сформулированных в приложении В.

Теорема 3.1.

(i) Матрицы симметричны и идемпотентны.

Доказательство, (i) Матрица очевидно является симметричной и Кроме того,

(ii) Поскольку матрица симметрична и идемпотентна, то

где

Если матрица X имеет ранг то соотношение все еще определяет единственную проекционную матрицу (приложение В). Чтобы найти явный вид этой матрицы, возьмем матрицу X, размера составленную из линейно

независимых столбцов матрицы Тогда из (3.4) получаем, что для некоторого Теорема 3.1 остается справедливой с заменой на Отметим, что матрицу можно представить также в виде где обобщенная обратная матрица для матрицы (ср. с В 1.8).

Рассмотренный геометрический подход можно развить различными путями. В этой связи укажем работы Seber (1966), Drygas (1970), Seely, Zyskind (1971), Watson (1972). Rao (1974) приводит общую теорию, основанную на косоугольных, а не на ортогональных проекциях. В этой теории допускаются неполнота ранга матрицы X и возможная вырожденность матрицы

Упражнения За

(см. скан)