8.7.5. Оператор симметричного выметания.

С вычислительной точки зрения пошаговые процедуры последовательного присоединения и присоединения-удаления удобно реализовать как. последовательность операций выметания, примененных к исходной расширенной корреляционной матрице А размера которую можно представить в виде следующей блочной матрицы

где — матрица коэффициентов корреляции между предсказывающими переменными порядка ; — -мерный вектор коэффициентов корреляции независимой переменной у с предсказывающими переменными. Таким образом, при отборе переменных мы фактически переходим к нормированным предсказывающим переменным и у.

Рассматриваемый ниже оператор симметричного выметания предложен в [162, 191, 119 п. 12.2]. Будем различать оператор прямого выметания по переменной (это соответствует расширению текущего набора за счет включения переменной ) и оператор обратного выметания по переменной (что соответствует удалению переменной из текущего набора). Действие оператора выметания на матрицу А состоит в пересчете ее элементов по одной из следующих схем:

для оператора прямого выметания

для оператора обратного выметания

Операторы выметания обладают следующими важными свойствами:

а) обратимость

б) коммутативность

Эти свойства легко интерпретируются в терминах включения и исключения переменных в текущий набор;

в) оба оператора сохраняют симметрию матрицы А. Благодаря свойству в) при вычислениях необходимо использовать только верхний треугольник матрицы А, что позволяет вдвое сократить необходимую память и объем вычислений.

Предположим, что в результате работы какой-либо процедуры отбора получен информативный набор из q предсказывающих переменных и при этом применялся пересчет элементов матрицы А с помощью соответствующей последовательности операторов выметания Для упрощения обозначений будем считать, что в набор включены q первых переменных (этого всегда можно добиться перенумерацией переменных из X). Тогда результирующая матрица будет иметь следующую структуру:

где — матрица размера , обратная к матрице корреляций переменных из — матрица размера частных ковариаций нормированных переменных не включенных в информативный набор;

— матрица размера компоненты столбца которой представляют собой коэффициенты регрессии нормированной переменной на нормированные переменные из — -мерный вектор коэффициентов регрессии нормированной переменной у на нормированные переменные из — —мерный вектор частных коэффициентов ковариаций нормированных переменных из - квадрат коэффициента множественной корреляции между переменной у и предсказывающими переменными из .

Таким образом, матрица содержит полное решение задачи регрессии независимой переменной у на переменные из за исключением значения свободного члена. Из нее также легко извлечь частные коэффициенты корреляции переменных необходимые для продолжения пошаговых процедур. Именно

где элемент вектора частных ковариаций; — диагональный элемент (остаточная дисперсия нормированной переменной ) матрицы частных ковариаций

Зная значение легко вычислить и значения критериев качества уравнения регрессии, приведенных в п. 8.7.2.

Диагональные элементы матрицы частных ковариаций представляют собой остаточные дисперсии нормированных переменных относительно переменных из и могут быть записаны в виде

В условиях мультиколлинеарности значения для некоторых переменных могут быть очень близки При попытке добавить такую переменную в информативный набор необходимо использовать величину, обратную к что при чрезмерной малости последней может привести к вычислительным трудностям. Поэтому целесообразно ввести пороговое значение, которое запретило бы использовать переменную если соответствующее значение будет меньше порогового, т. е. если выполнится неравенство , то переменная не будет использоваться для расширения набора .

Если же это неравенство выполняется для всех переменных из , то отбор переменных следует считать оконченным.