8.2.2. МАТРИЧНОЕ ПРЕДСТАВЛЕНИЕ ЛИНЕЙНЫХ МОДЕЛЕЙ

В примерах 8.2.1 и 8.2.2 мы имели дело с линейными моделями, поскольку в обоих случаях каждое наблюдение выражается как линейная функция от параметров плюс ошибка. В терминах раздела 8.1 функция представляет собой линейную функцию вектора параметров можно записать в виде

или

где — известные константы. Запишем: и обозначим -матрицу, составленную из констант через А (она известна как матрица плана). Тогда мы можем записать модель в сжатой форме: . А для экспериментальных значений где — наблюдаемые значения , а — вектор ошибок. Отсюда сумма квадратов, подлежащая минимизации, примет вид

Нормальные уравнения (8.1.1) для оценок в в данном случае линейны и их можно записать так:

или в матричной форме:

Для дальнейших ссылок мы перепишем его:

Мы предполагаем, что столбцов матрицы А линейно независимы (это и есть случай полного ранга). Тогда ранг матрицы А будет равен . Отсюда следует, что симметричная матрица тоже имеет ранг а поскольку ее размер , то она не вырождена и имеет обратную . Вот единственное решение нормальных уравнений:

представляющее собой линейную функцию от результатов наблюдений и служащее МНК-оценкой для . Случай, когда обсуждается в гл. 10.

Пример 8.2.3. Продолжение примера 8.2.1. Для модели измерений из примера 8.2.1 матрица А — просто вектор из единиц размера матрица

Пример 8.2.4. Продолжение примера 8.2.2. Для этого примера вектор параметров и мы имеем:

Здесь

а поскольку получаем

(продолжение в примере 8.2.8)

Пример 8.2.5. Регрессия. Часто зависимость между переменной У и несколькими «независимыми» переменными приближают «линейной моделью» вида

[ср. с разделом 3.5.5], где — заданные функции от — неизвестные параметры (заменившие в общих формулировках, приведенных выше). Наблюдения получаются при различных комбинациях известных

значений переменных Обычный случай — множественная линейная регрессия [ср. с примером 6.5.1], когда так что модель принимает вид

(В примере 6.5.1 обсуждается случай, когда есть только одна переменная-регрессор ) Используемая здесь терминология может ввести в заблуждение. Действительно, наша модель линейна, поскольку она представляет собой линейную функцию от параметров . Кроме того, регрессия называется линейной, поскольку линейны зависимости от каждой независимой переменной Вместе с тем следующая модель линейна по параметрам , следовательно, линейна:

но она выражает нелинейную зависимость от единственного регрессора х, а значит, это уже нелинейная регрессия. Такая регрессия называется полиномиальной. Нелинейную зависимость от нескольких регрессоров можно явно представить в виде линейной модели

где для большей ясности переобозначены параметры.

Чтобы записать эту модель в матричной форме, предположим, что фактические значения переменных для наблюдения равны . В случае, например, множественной линейной регрессии имеем

т. е.

где

Следовательно,

Вовсе не обязательно, чтобы все наблюдаемые значения регрессоров различались, но мы предполагаем, что эти значения в общем и целом окажутся такими, что матрица А будет иметь полный ранг (в нашем примере равный ). Совсем иная ситуация, например, если все наблюдений сделать при одних и тех же значениях Для отыскания МНК-оценок нам нужна матрица которая получается обычным численным обращением матрицы на компьютере. А для однофакторной линейной регрессии, которая в наших обозначениях имеет вид

можно получить простые явные формулы. Условимся в этом случае отбросить индекс при х и писать просто Обозначив фактические значения х через получим

где . Воспользовавшись соотношением найдем МНК-оценки:

где

Для полиномиальной регрессии имеем

где — значение x, полученное в наблюдении. Записав получим

И в этом случае, как правило, требуется численное обращение матрицы

Наконец, рассмотрим еще один пример нелинейной модели:

Хотя здесь и представлена линейная зависимость от модель нелинейна по параметрам, и мы не можем выразить ее в матричной форме а значит, все формулы, полученные ранее, не применимы.

Пример 8.2.6. Односторонняя классификация (однофакторная классификация, классификация с одним входом). Допустим, что данные разделены на групп с наблюдениями в группе, . Тогда результаты можно обозначить так: при Данные можно свести в таблицу:

(см. скан)

Полагая, что наблюдения в группе — это случайная выборка из распределения с математическим ожиданием получим модель

где — фактические значения случайной величины с математическим ожиданием нуль. Эту модель можно представить в виде или так:

В этом случае — диагональная матрица с диагональными элементами Запишем

тогда

и

Отсюда среднему по группе наблюдений (здесь и далее мы будем обозначать суммирование по данному индексу подстрочным знаком плюс , а усреднение — точкой

Модель односторонней классификации можно представить в регрессионной форме еще одним способом:

где регрессоры выбраны так, что для мы имеем если данное наблюдение принадлежит группе и в противном случае. Соответствующие значения приводятся в столбце матрицы плана А. В таком случае регрессор становится качественной переменной, обеспечивающей только указание структуры данных, тогда как переменные из примера 8.2.5 были количественными.

Пример 8.2.7. Односторонняя классификация с сопутствующей переменной. В дополнение к информации о разделении данных на групп мы можем иметь дополнительные сведения о количественной переменной известной как сопутствующая переменная. В этом случае получается такая модель:

В регрессионной форме она точно соответствует виду

а ее вектор параметров , причем матрица плана А, приведенная в предыдущем примере [см. (8.2.3)], пополняется столбцом с элементами

Эта идея естественно обобщается на модели с несколькими сопутствующими переменными. В таком случае матрица плана будет состоять из нескольких столбцов с элементами О или 1, указывающими структуру данных, а затем из нескольких столбцов, содержащих значения сопутствующих переменных.