8.2.5. ОРТОГОНАЛЬНЫЕ ПЛАНЫ И ОРТОГОНАЛЬНЫЕ ПОЛИНОМЫ
Модель называется ортогональной, когда матрица плана А такова, что матрица
имеет диагональный вид, скажем
. В этом случае обратная матрица тоже диагональна:
а вектор решений допускает запись в простой скалярной форме:
что легко проверяется нормальными уравнениями, которые в свою очередь становятся совсем простыми:
Односторонняя конфигурация из примера 8.2.6 представляет ортогональную модель. Та легкость, с которой могут решаться нормальные
уравнения, — одно из привлекательных вычислительных свойств ортогональных моделей. Мы еще покажем это, когда будем рассматривать ортогональные полиномы.
Допустим, что надо построить полиномиальную регрессионную модель в виде
по экспериментальным данным
Матрицы А и
приведены в примере 8.2.5, откуда видно, что план не ортогонален. Но модель можно многими эквивалентными способами привести к следующему виду:
где для
— полиномы степени
коэффициенты которых (вместе с
определяют
). Для этой новой модели матрица плана имеет вид
так что
элемент
матрицы
оказывается равным:
Поскольку
должна быть диагональной матрицей, требуется, чтобы
Полиномы, удовлетворяющие этому условию, называются ортогональными и позволяют однозначно определить
отдельно от их сомножителей. Диагональный элемент матрицы
с номером
равен:
откуда МНК-оценка для
оказывается равной:
а дисперсия, связанная с этой оценкой, равна
. В частности, поскольку
получаем
откуда
МНК-оценка для
имеет дисперсию
Заметим, что,
поскольку
диагональная матрица, оценки параметров, полученные методом наименьших квадратов, в ортогональных планах всегда некоррелированы.
Из (8.2.5) видно, что остаточную сумму квадратов можно записать так:
или, учитывая, что
так:
Мы уже отмечали, что ортогональные полиномы определяются независимо от констант-сомножителей. Поэтому неважно, какие именно константы выбрать. Так, если мы рассмотрим
где
при
— заданные константы), то сразу видно, что
, следовательно,
.
Таким образом, остатки в обоих случаях одни и те же.
Пример 8.2.15. Ортогональные полиномы в обычной линейной регрессии. Раньше уже обсуждалась [см. пример 8.2.5] линейная регрессия для одной переменной
с использованием модели
Эта модель неортогональна. В примере 8.2.5 для нее приведены
. А вот альтернативная модель, которая оказывается ортогональной:
Здесь переменная
измеряется относительно среднего х наблюдаемых значений
удовлетворяет соотношению
Для такой новой модели имеем
откуда
. Следовательно,
в обеих моделях одинаково, а
Кроме того,
и
некоррелированы (тогда как
, наоборот, коррелированы).
Для множественной линейной регрессии мы можем прибегнуть к тому же методу получения частичной ортогональности, переписывая модель
в альтернативной, «скорректированной на среднее» форме:
где
обозначает усреднение наблюдений
по
. В этом случае
удовлетворяет условию
Для второй модели первая строка матрицы
такова:
т. е.
, отсюда следует, что первая строка матрицы
будет:
Значит, МНК-оценка для
как раз и получается по формуле
Кроме того, каждая из МНК-оценок для
не коррелирует с оценкой для
Возвращаясь к модели с ортогональными полиномами (8.2.6), отметим, что оказывается, когда значения
расположены произвольно, не на равных расстояниях друг от друга, ортогональные полиномы приходится строить специально для каждого конкретного набора данных, что в значительной степени снижает преимущество ортогональных моделей, обусловленное легкостью решения системы нормальных уравнений. Если же, однако, значения х расположены равномерно, на равных расстояниях друг от друга (как говорят, с равным шагом), да еще все различны, то мы можем воспользоваться стандартными полиномами, для которых существуют таблицы.
Возьмем стандартизованную переменную
Тогда значения и будет соответствовать значениям
а именно
(с очевидными перестановками):
Тогда фактически оцениваемая модель примет вид
где
ортогональные полиномы, выбранные из таблиц и вычисленные с тем расчетом, чтобы соответствовать каждому целому значению
. В Biometrika Tables [см. Pearson and Hartley (1966), табл. 47 — G], приводятся формулы для
при
а также численные значения
. Проиллюстрируем этот метод на конкретном примере.
Пример 8.2.16. Подбор кубической кривой с помощью ортогональных полиномов. Были собраны следующие данные об осадках по месяцам:
Мы закодируем месяцы
и возьмем эти значения в качестве
. А данные об осадках будут служить соответствующими значениями
Будем подбирать по данным различные полиномиальные модели и для переменной
составим следующую таблицу:
(см. скан)
Ее три последние строки получены из упомянутых выше таблиц, откуда мы еще и узнали, что
Начнем с подбора модели
По нашим данным подсчитаем
Вот МНК-оценки для
и
Из таблиц для
находим, что
откуда подобранный полином имеет вид
Подставляя
получим
Это тот же результат, какой мы получили бы, применив метод наименьших квадратов к неортогональной модели
Теперь подберем квадратичную модель
Оценки
и
не изменятся, поэтому остается только вычислить
с учетом того, что
Из таблиц
имеем
поэтому подобранный полином таков:
или
Это тот же результат, который мы получили бы, применив метод наименьших квадратов к обычной квадратичной модели
Заметим, что в противоположность ортогональной модели здесь оценки
иные, чем в модели первого порядка.
Для кубической модели
нам остается только с учетом того, что
равно 36,98, найти
Таблицы показывают, что
поэтому кубическая модель будет следующей:
или
и это снова тот же результат, что дает применение метода наименьших квадратов к модели
Вопрос о том, какая из этих моделей лучше соответствует данным, мы обсудим позже, в разделе 8.3.5. Этот метод предполагает последовательный подбор нескольких моделей повышающихся степеней. В таких случаях использование ортогональных полиномов имеет, в частности, то преимущество, что при переходе к каждой следующей степени требуется совсем немного дополнительных вычислений, в то время как для неортогональных моделей приходится на каждом этапе обращать матрицу (что, конечно, не проблема, когда вычисления проводятся на компьютере).