12.5. Другие методы

12.5.1. Факторный анализ и анализ главных компонент

Выбрать подмножество регрессоров можно также при помощи факторного анализа. После применения факторного анализа к регрессорам выделяется несколько факторов, а остальная часть дисперсии относится на счет приблизительных

мультиколлинеарностей, которые можно игнорировать. После этого факторы вращают, чтобы получить простую структуру, в которой каждый фактор отождествляется с некоторым минимальным набором регрессоров. Регрессия У на этих факторах может помочь В определении подходящих наборов регрессоров. Такой метод использован в Massy (1965), Daling, Tamura. (1970) и в ряде практических исследований. Однако некоторые возражения против него выдвигает Hawkins (1973). Во-первых, нет никакой гарантии в том, что У зависит именно от факторов, а не от тех мультиколлинеарностей, которыми пренебрегли. Соответствующий пример приводит Hotelling (1957). Во-вторых, этот метод предлагает одну или более возможных регрессий, но, Подобно пошаговому методу, не дает ясной информации о числе или составе альтернативных хороших наборов. Поэтому необходим такой метод, который бы выделял мультиколлинеарности и предлагал целый ряд подходящих наборов.

Hawkins (1973) полагает, что таким требованиям удовлетворяет анализ главных компонент. Подробности читатель может найти в указанной статье. Идею использования анализа главных компонент для отыскания разумного набора регрессоров выдвигали также Jeffers (1967) и Сох (1968, с. 272). Об использовании анализа главных компонент в задачах регрессии кратко упомянули также Seber (1966, с. 56) и Greenberg (1975).

12.5.2. Байесовский метод

В заключение стоит несколько упомянуть о байесовском методе Lindley (1968). В случае, когда модель регрессии собираются использовать для цредсказания, он предлагает находить набор, минимизирующий величину

где увеличение остаточной суммы квадратов при исключении регрессоров, издержки, связанные с данным конкретным набором регрессоров. Минимизация осуществляется по всем наборам для всех значений При этом автор предполагает, что

где т. е. что полная модель с К регрессором является несмещенной.

Если издержки для всех регрессоров одинаковы и равны и если они аддитивны (т.е. то критерий, предложенный Lindley (1968, с. 43), равносилен минимизации С-статистики Мэлоуса.