Глава 12. ВЫБОР «НАИЛУЧШЕЙ» РЕГРЕССИИ

12.1. Введение

Одна из основных задач регрессионного анализа состоит в решении вопроса о том, какие именно регрессоры или предикторные переменные следует включить в модель. Пусть полный набор всех возможных регрессоров, содержащий такие функции, как квадраты, смешанные произведения, а также все другие функции, которые кажутся подходящими. Для выбора некоторого подмножества из этой полной совокупности регрессоров имеются два противоположных по характеру критерия. С одной стороны, если мы хотим, пользуясь подобранной моделью, получать надежные прогнозы, то в модель следует включать по возможности наибольшее число регрессоров. С другой стороны, имея в виду затраты, связанные с получением информации при большом числе регрессоров, в уравнение желательно включать как можно меньше регрессоров. Кроме того, с увеличением числа регрессоров возрастает дисперсия прогноза (§ 5.4). Подходящим компромиссом между этими двумя крайностями является процедура, называемая обычно "выбором наилучшего подмножества" или "выбором наилучшего уравнения регрессии". Однако термин "наилучшее" здесь, конечно, субъективен. Нет никакой единой статистической процедуры для выбора соответствующего подмножества, и во всех статистических методах, описанных в этой главе, предполагается, что необходимо субъективное решение. Например, если какие-то два регрессора сильно коррелированы с и друг с другом, то часто бывает достаточно включения в модель только одного из них. При этом дополнительным вкладом от включения второго регрессора часто можно пренебречь. Выбор для включения в модель того или иного из двух регрессоров может определяться, например, тем, какую из этих переменных проще или дешевле измерять.