2.12. СМЕЩЕНИЕ РЕГРЕССИОННЫХ ОЦЕНОК

Мы уже указывали ранее (см. параграф 2.6), что МНК-оценка вектора входящего в модель есть несмещенная оценка. Это означает, что

Значит, если мы рассмотрим распределение случайного вектора (которое можно получить, повторяя выборки одинакового объема из совокупности величин при фиксированной матрице X и определяя оценку вектора по каждой выборке), то среднее для этого распределения как раз и будет равно

Теперь подчеркнем, что это верно только тогда, когда постулированная модель «правильна». Если модель не правильна, то оценки будут смещенными, т. е. Величина смещения зависит, как мы уже видели, не только от постулированной и «правильной» модели, но

также и от значений переменных X, которые используются в регрессионных вычислениях. Если проводится заранее спланированный (активный) эксперимент, то величина смещения зависит как от экспериментального плана, так и от модели.

С самого начала условимся, что будем иметь дело с неособенной регрессионной моделью общего вида, и, поскольку мы имеем необходимые формулы в матричной форме, они могут применяться всюду. В отдельных случаях, если есть желание, можно для упражнения сделать также выкладки в скалярной форме. Предположим, что мы постулируем модель

Это приводит к МНК-оценкам

Если постулируемая модель правильна, то, поскольку есть неслучайная матрица, а случайные, будем иметь

Таким образом, есть несмещенная оценка вектора Допустим опять-таки, что постулируется модель (2.12.1), так что в соответствии с (2.12.2) есть вектор оценок регрессионных коэффициентов. Однако предположим теперь, что «истинное» соотношение между вектором математических ожиданий отклика и переменными есть не (2.12.1), а

т. е. имеются члены которые мы не учитывали при определении оценок. Отсюда следует, что

где

называется матрицей смещения. Заметим, что члены вектора зависят не только от постулированной и «истинной» модели, но также и от плана эксперимента, который определяется матрицами Таким образом, хороший выбор плана может привести к получению оценок с меньшим смещением, даже если была постулирована и оценивалась неправильная модель. Теперь мы проиллюстрируем применение уравнения (2.12.5) на простых численных примерах.

Пример 1. Допустим, что мы постулируем модель в виде

тогда как фактически модель выражается соотношением

но это нам неизвестно. Если мы используем наблюдения за величиной при и 1, чтобы оценить в постулированной модели, то каким будет смещение? Иными словами, что будут представлять собой оценки «Истинная» модель должна быть выражена в виде

Отсюда следует, что

Таким образом,

Применяя уравнение (2.12.5), мы получим

Выходит, что смещенная на оценка, а несмещенная оценка.

Пример 2. Пусть постулируемая модель имеет вид

тогда как «фактически правильная» есть

Какие смещения оценок будут в случае обработки наблюдений при

Мы находим

Следовательно,

При использовании формулы (2.12.5) можно найти смещение любой регрессионной оценки, если только установлены постулируемая и «точная» модели, а также план. Это позволяет нам в конкретных случаях судить о том, какие эффекты отражаются на наших оценках, если имеются определенные отклонения от предполагаемой модели. Если постулируется полиномиальная модель, рациональная процедура часто состоит в том, чтобы исходить из предположения об ошибочности постулированной модели. Она ведь не включает слагаемые, показатели степени которых на единицу выше старших членов ряда, включенных в модель.