9.2. РЕГРЕССИОННЫЙ АНАЛИЗ ДЛЯ ПРИМЕРА С ОДНОСТОРОННЕЙ КЛАССИФИКАЦИЕЙ

Модель, выраженная уравнением (9.1.1), содержит четыре параметра: Но два из них — и один из параметров определяют любое наблюдение Y следовательно, .

Естественный первый шаг в регрессионном подходе — записать саму модель

и затем рассмотреть, какие значения следует придать переменным чтобы получить уравнение (9.1.1). Элементарный анализ показывает, что для этого достаточно воспользоваться фиктивной переменной а остальным переменным придать значения:

для В таком случае получаем:

(см. скан)

Недостаток такого подхода виден сразу. Поскольку вектор-столбцы матрицы X связаны между собой соотношением

матрица X X будет обязательно вырожденной, и потому нормальные уравнения не будут иметь единственного решения. До сих пор мы не принимали во внимание ограничение ANOVA-модели, а именно Если им воспользоваться, то решение нормальных уравнений станет единственным. Однако это представляет собой дополнительное усложнение нашего подхода (которое обсуждается далее в § 9.4) и означает, что мы не получаем на самом деле регрессионные выражения в стандартной форме. Как же быть? Имеется много возможностей (в общем их неограниченное число), как это обычно имеет место, когда используются фиктивные переменные. Одна из них — к ее описанию мы и переходим — позволяет воспользоваться линейными и квадратичными контрастами, которые участвуют в разложении, представленном в табл. 9.2. Определим фиктивные переменные чтобы заменить ими используя соотношения

Тогда модель можно записать в регрессионной форме таким образом:

а данные и параметры, используемые в регрессионном анализе, будут иметь вид

(кликните для просмотра скана)

благодаря ортогональности, упомянутой выше. Результаты расчетов в деталях представлены в табл. 9.2. Подогнанная регрессионная модель имеет вид

Если мы теперь опустим незначимый член и заметим, что переменная может быть представлена в кодированном виде

где С — количество кофеина в принимаемое внутрь, т. е. уровень кофеина, мы увидим, что подогнанное уравнение приобретает вид

Следовательно, в пределах наблюдаемого интервала изменения С предсказываемое число нажатий пальцем на клавишу в течение одной минуты для обученных студентов колледжа можно вычислять в зависимости от С по уравнению (9.2.12).

(Заметим, что при удалении такой переменной, как мы обычно должны пересоставлять регрессионное уравнение. Было бы неправильным в общем случае просто удалить какой-либо член. Однако здесь вследствие ортогональности столбца к другим столбцам матрицы X результат будет тем же самым при разных способах построения регрессии — см. § 2.8.)

Предупреждение

Благодаря тщательному выбору уровней фиктивных переменных позволившему получить диагональную матрицу а также равенству объемов трех выборок приведенный выше пример оказался чрезвычайно простым и кратким. В общем случае на это рассчитывать не приходится. Вернемся снова к выражениям (9.2.3). Предположим, что мы решили вместо замены переменных просто исключить один параметр, скажем, из Р и, следовательно, соответствующий столбец из матрицы Подходящее МНК-решение тогда имело бы вид

Мы получили величину, в точности совпадающую с общей суммой в (9.2.9), как это и должно быть, однако информативного расщепления суммы на три слагаемых здесь не происходит, поскольку отсутствует ортогональность столбцов матрицы X и поскольку матрица здесь недиагональна. Мы можем, конечно, получить дополнительную сумму квадратов для вычитая из полученного результата

однако мы не смогли бы вычислить дополнительную сумму квадратов, указанную в гл. 4, и двигаться дальше. Мораль такова: хотя многие приемы регрессионного анализа и применимы для задач дисперсионного анализа, некоторые из них более информативны, чем другие. Тщательный выбор хорошего описания воздастся сторицей.

Продолжая вычисления с неортогональным описанием дальше, получим модель

которая дает следующие предсказываемые значения:

У неподготовленного читателя появление в уравнении (9.2.16) отрицательных коэффициентов может вызвать удивление, поскольку На первый взгляд противоречит закономерности, в силу которой число ударов по клавише растет с увеличением дозы кофеина. Однако противоречия здесь нет. Фиктивные переменные здесь были выбраны так, чтобы соответствовало основному уровню. В таком случае для достижения соответствующих величин и необходимы отрицательные значения коэффициентов регрессии. Мы получили еще одно подтверждение того, как необходима осторожность при использовании регрессионных методов.

В § 9.3-9.5 односторонняя классификация будет рассмотрена более детально, после чего мы перейдем к двусторонней классификации.