ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ

В 1962 г. к нам обратились представители химического отдела Американского общества контроля качества (A. S. Q. С.) с предложением подготовить краткий курс регрессионного анализа. В этой связи мы составили ряд конспектов по темам, которые, по нашему мнению, важны для практиков, применяющих регрессионный анализ. Эти конспекты были хорошо приняты, в дальнейшем в них было внесено много дополнений и изменений. Данная книга является результатом этой работы.

Мы попытались объединить в книге ряд методов, развитых для регрессионных задач и распространенных в настоящее время. Так как мы сделали акцент на практическом применении регрессионного анализа, то теоретические результаты во многих случаях приводятся без доказательств. Хотя обучение регрессионному анализу проводится без использования вычислительных машин или со сравнительно примитивной техникой, тем не менее работы по применению регрессии выполняются теперь исключительно с помощью быстродействующих вычислительных машин. Поэтому, хотя данной книгой можно пользоваться вообще без всяких вычислительных средств (или, быть может, только с настольной вычислительной машиной), мы специально употребили в нескольких местах машинные распечатки. Все десятичные знаки в этих данных вряд ли нужны на практике, но числа писались так, будто они получены на обычной вычислительной машине. Мы составили также различные упражнения: некоторые из них можно легко решить «вручную», для решения других, более сложных, была бы полезна, хотя и не абсолютно необходима, вычислительная машина.

Эта книга представляет собой стандартный основной курс множественной линейной регрессии, но она включает также материал, который либо совсем не появлялся в учебниках, либо если и появлялся, то был труднодоступен для понимания. Например, в гл. 3 обсуждается исследование остатков; в гл. 6 рассматриваются процедуры отбора факторов в регрессионных программах разных типов; в гл. 8 обсуждается планирование больших регрессионных исследований; гл. 10 дает основное введение в теорию нелинейного оценивания.

Гл. 1 и 3 вместе представляют собой курс по подбору уравнения прямой линии вообще без использования алгебры матриц. Если же прибавить часть гл. 2, то вдобавок можно получить введение в идеи матричного представления регрессионных задач. Односеместровый

курс регрессионного анализа может быть составлен из материалов гл. 1—7, возможно, с добавлением гл. 8 для статистиков, работающих в промышленности, и студентов, обучающихся управлению промышленностью. Можно изучить всю книгу за один семестр, если предположить, что некоторое предварительное знание части материала у читателя уже имеется. Для более полной проработки необходимо два семестра; это даст возможность преподавателю добавить доказательства утверждений, которые сформулированы, но не доказаны, и позволит более полно обсудить все упражнения, среди них есть довольно трудоемкие.

Предполагается, что читатель обладает основными знаниями элементарной статистики, которые можно получить из типового начального курса. Таблицы F-распределения и t-распределения приводятся.

Мы признательны ряду друзей за помощь в различных аспектах.

Март 1966 г.

Н. Р. ДРЕЙПЕР, Г. СМИТ

ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ

За 15 лет, что пролетели с момента выхода в свет первого издания этой книги, в регрессионном анализе появилось много новых идей и методов. Так, новые численные алгоритмы и пакеты регрессионных программ сделали совсем простым исследование адекватности проверяемых моделей многими различными методами. Поэтому мы уже давно склонялись к тому, что надо бы дополнить первое издание, причем так, чтобы оно, с одной стороны, отражало ситуацию в прикладном регрессионном анализе вплоть до 1980 г., а с другой — соответствовало нашим мнениям и практическому опыту применения появившихся за это время в регрессии идей и методов.

Было добавлено много нового материала, и книга неизбежно потолстела. А исключен только один параграф 6.8. «Вычислительные аспекты шагового регрессионного метода». Основные добавления мы перечислим ниже. Сделано также множество других вставок и исправлений, слишком многочисленных, чтобы их здесь упоминать. Большая часть дополнительного материала прошла проверку не только в аудиториях университета штата Висконсин х, но и на краткосрочных курсах в промышленности.

В гл. 1 добавлены параграф 1.7 об обратной регрессии и параграф 1.8 о практических возможностях обычной линейной регрессии.

В гл. 2 мы включили несколько новых параграфов: краткое описание метода наименьших квадратов (МНК) с ограничениями (2.13), несколько замечаний об ошибках в факторах (предикторах) (2.14), и обратную регрессию для случая многих факторов (2.15). А параграф 2.11 о взвешенном методе наименьших квадратов расширен за счет включения численного примера. К этой главе мы дали еще 4 приложения: приложение 2А - несколько полезных свойств матриц, 2Б - математические ожидания сумм квадратов, 2В - некоторые сведения о статистической значимости регрессионной модели, и 2Г - описание неопределенных множителей Лагранжа. В анализе остатков, гл. 3, мы добавили параграфы о сериальной корреляции остатков (3.9), о критерии Дарбина-Уотсона для сериальной корреляции (3.11), о методах определения влияющих наблюдений (3.12) и в

приложении ЗА- об использовании нормальных и полунормальных графиков остатков. В гл. 5 появились новые параграфы о семействах преобразований (5.3) и о регрессионном анализе усредненных данных (5.8). Но самым большим дополнениям и изменениям подверглась гл. 6. Здесь мы включили параграфы о статистике Маллоуза и наилучших регрессионных подмножествах (6.1), о гребневой регрессии (ридж-регрессии) (6.7), о критерии предсказанной суммы квадратов (PRESS) (6.8), о регрессии на главных компонентах (6.9), о регрессии на собственных значениях (6.10) и о робастной (устойчивой) регрессии (6.14). В гл. 7 добавлен пример планирования эксперимента для исследования поверхности отклика (7.7). Появились некоторые вставки к методам обоснования моделей из гл. 8. В гл. 9 был расширен регрессионный подход к дисперсионному анализу. Наконец, мы включили новый материал о нелинейных моделях развития (роста) (10.7) и по ряду других вопросов работы с нелинейными моделями (10.8).

Выводы, полученные на основе очень малых наборов данных, часто практически бесполезны. Несмотря на это, в примерах и задачах мы используем несколько искусственно построенных наборов малого числа данных. Сделано это исключительно с целью упростить демонстрацию процесса вычислений, избежав обращения к большим массам чисел. Подобные данные надо и рассматривать в том духе, в каком они представлены. Нет никаких оснований расценивать их иначе, чем средство для иллюстрации, для чего они, собственно, и предназначены.

Учиться по этой книге можно многими способами. В университете штата Висконсин, например, один семестр занимают большая часть гл. 1—4 и куски из гл. 5, 6, 9 и 10. Советуем преподавателям взять за основу материал гл. 1—4, а из остальной части книги черпать по потребности. Никакие параграфы не отмечены звездочками, поскольку то, что можно пропустить «при первом чтении» для одной аудитории, может оказаться существенным для другой.

Мы признательны многим дюдям. Некоторые из них указаны непосредственно в тексте как авторы определенных сведений. Среди других надо упомянуть многочисленных (за долгие годы) помощников

Н. Р. Дрейпера по преподаванию в университете штата Висконсин. Они подготовили решения новых упражнений, часто сами предлагали упражнения, а иногда терпеливо добывали материал, важный для дипломных работ некоторых студентов-выпускников, специализировавшихся в прикладном регрессионном анализе.

Январь 1981 г.

Н. Р. ДРЕЙПЕР, Г. СМИТ