ПРЕДИСЛОВИЕ

Регрессионный анализ — это одно из средств, имеющихся в арсенале каждого статистика, причем довольно часто используемое. Теория его весьма элегантна, а вычислительные задачи достаточно увлекательны, так что и "чистые", и "прикладные" статистики могут чувствовать себя здесь в своей стихии. Так, среди теоретиков все еще не остыл интерес к методу наименьших квадратов со всеми его обобщениями и частными случаями, тогда как практики продолжают развивать широкий спектр графических методов для проверки моделей и основных предположений, лежащих в их основе. Численный анализ и статистика сплетались довольно медленно, и поэтому статистики имели возможность трезво оценить трудности, связанные с некоторыми уже признанными вычислительными процедурами. Разработка таких вычислительных программ для регрессионного анализа, которые были бы эффективными и в то же время обеспечивали необходимую точность, рассматривается сейчас как важная составная часть любого статистического исследования.

Однако постоянный интерес исследователей к регрессионному анализу и в теоретическом, и в прикладном отношении создает определенные трудности для авторов учебников. Как показывают имеющиеся на эту тему книги, изложение материала можно вести на самых различных уровнях математической строгости, от весьма общих исследований, таких, например, как Seber (1966), Searle (1971) и Rao (1973), и до более вольного изложения — Williams (1959) и Sprent (1969). Конечно, такое разнообразие книг необходимо, ибо оно отвечает неоднородности читательской аудитории. Однако на протяжении последних десяти лет моей преподавательской деятельности я все больше и больше убеждался в том, что необходим учебник, в котором был бы найден компромисс между двумя крайностями: совсем не приводить доказательств и приводить исчерпывающие доказательства всех результатов. Регрессионный анализ и большая часть дисперсионного анализа оперируют с моделями полного ранга, поэтому ясно, что преувеличенное внимание к случаю неполного ранга объясняется желанием достичь большей общности. Можно, в частности, отметить и чрезмерное увлечение использованием обобщенных обратных матриц в ущерб простым геометрическим идеям, лежащим в основе метода наименьших квадратов. Конечно, в обобщенных обратных матрицах есть свой толк, но их роль надо отодвигать в пер спективу.

Регрессионный анализ является прикладной дисциплиной, описывающей методы обработки наблюдений. Поэтому в идеале всякий теоретический курс следовало бы подкреплять практическими занятиями. В связи с этим возникает вопрос о том,

следует ли стремиться подробно рассматривать в одной книге и теоретические, и вычислительные аспекты предмета. Решить этот вопрос явно не просто, и при современном положении дел с пакетами статистических программ, вероятно, лучше излагать эти два аспекта отдельно. Например, процедура, для которой развита изящная теория, может оказаться совершенно неудовлетворительной в вычислительном отношении, и, напротив, какой-нибудь запутанный и сложный алгоритм может быть эффективным и точным. В зависимости от реально имеющихся вычислительных средств в разных местах используются различные пакеты программ, так что конечным решением нашего вопроса можно было бы считать теоретический учебник, содержащий описание вычислительных аспектов лишь в самых общих чертах, и практическое руководство, содержащее численные примеры и подробное изложение пакетов программ. Прообразом последнего может служить книга Daniel, Wood (1971).

Вот с такими намерениями я и взялся написать теоретическую книгу, которая удовлетворяла бы читателя со строгим математическим мышлением и в то же время не заводила бы в дебри излишних обобщений. Я также попытался дать современное представление об используемых в настоящее время вычислительных методах и алгоритмах, не нагромождая при этом второстепенных вычислительных деталей. Поскольку число работ, посвященных исследованию регрессий, продолжает быстро расти, я просмотрел наиболее известные статистические журналы и теперь надеюсь, что данную книгу можно использовать и как источник ссылок на литературу. Для чтения книги требуется в основном хорошее знание алгебры матриц, а также некоторое знакомство с линейной одномерной регрессией и простыми моделями дисперсионного анализа.

Первые четыре главы представляют собой достаточно стандартное изложение метода наименьших квадратов и проверки гипотез для многомерных моделей линейной регрессии. В главе 1 для случайных векторов вводятся оператор взятия математического ожидания и ковариационный оператор. В главе 2 рассматриваются многомерное нормальное распределение и некоторые теоремы, касающиеся квадратичных форм. Глава 3 содержит оценивание по методу наименьших квадратов, включая обобщенный метод наименьших квадратов, случай неполного ранга и оценивание при наличии ограничений. В главе 4 подробно изучается Лкритерий для линейной гипотезы, а в главе 5 обсуждаются доверительные интервалы и задачи совместных выводов в приложении к моделям регрессии. Кроме того, рассмотрены доверительные интервалы для отклика в прямой и обратной (дискриминация) задачах. В главе 6 исследуются предположения, лежащие в основе метода наименьших квадратов, и приводятся различные методы проверки

выполнения этих предположений. Ввиду важности методов подбора одномерной линейной и полиномиальной регрессий этим двум вопросам посвящены соответственно главы 7 и 8. В главе 9 используется тесная связь между моделями регрессии и дисперсионного анализа и приводятся простые процедуры для проведения дисперсионного анализа. Основное внимание уделяется здесь сбалансированным (ортогональным) планам. В главе 10 с точки зрения регрессии рассматривается ковариационный анализ. Здесь же подробно обсуждены тесно связанные с ковариационным анализом вопросы, относящиеся к пропущенным наблюдениям. Главы 11 и 12 посвящены вычислительным аспектам регрессионного анализа. В главе И приводятся алгоритмы метода наименьших квадратов, а в главе 12 - задача выбора наилучшего подмножества из множества вероятных регрессоров (независимых переменных).

Приложения содержат ряд результатов из алгебры матриц, доказательства которых не всегда легко найти, а в приложении С описывается использование вероятностной бумаги. В приложениях приведены статистические таблицы, полезные для совместных статистических выводов. Наконец, отдельно помещены наброски решений упражнений.

Было весьма не просто найти или составить такие теоретические задачи, которые пришлись бы к месту и в то же время не оказались чересчур трудными. Хочется надеяться, что разбросанные по книге задачи (их около двухсот) не только помогут студентам, но и пригодятся преподавателям.

В основу этой книги положено несколько курсов, прочитанных мной в течение последних 10 лет в Оклендском университете (Новая Зеландия). Мне хотелось бы поблагодарить многих студентов, стимулировавших мой преподавательский интерес к этому предмету. Кроме того, я выражаю благодарность Хитер Лукас, прочитавшей черновик, и Пегги Хейворт, отпечатавшей большую часть рукописи.

Благодарности

За разрешение воспроизвести некоторые опубликованные ранее таблицы и рисунки приношу благодарность авторам и редакторам журналов Biometrika (приложение Е), Journal of the American Statistical Association (табл. 5.1, 5.2 и приложение D), Journal of the Royal Statistical Society, Ser. В (приложение F) и Techno-metrics {табл. 5.3).

Окленд, Новая Зеландия Дж. Л. Ф. Север

Июль 1976