5.7. ПРЕОБРАЗОВАНИЕ МАТРИЦЫ X ДЛЯ ПОЛУЧЕНИЯ ОРТОГОНАЛЬНЫХ СТОЛБЦОВ

В регрессионной задаче матрица X должна быть такой, чтобы ни один столбец нельзя было представить как линейную комбинацию других столбцов. Из этого вытекает также, что должно быть по крайней мере столько же независимых строк, сколько и оцениваемых параметров, иначе зависимость будет проявляться также и в столбцах. Пусть, например, наблюдения зарегистрированы только при трех уровнях X, а именно при и с, причем постулируется модель

Матрица X имеет вид

и столбцы зависимы, так как (столбец 4) — (столбец 3) (столбец 2) — (столбец Распознать такую зависимость в регрессионных задачах часто бывает очень трудно. Если она существует, то матрица будет всегда особенной и ее нельзя будет обратить. Если столбцы Х-матрицы

почти зависимы, то матрица будет почти особенной и трудно обращаемой, с возможными большими ошибками округления.

Одна из процедур, которую можно запрограммировать и использовать как программу проверки Х-матрицы (либо во всех, либо в подозрительных случаях), содержит последовательные преобразования столбцов, так что каждый новый столбец ортогонален ко всем предыдущим преобразованным столбцам. Если среди столбцов есть зависимые, то в итоге мы будем получать новые столбцы, состоящие целиком из нулей. Если столбцы почти зависимы, то новые столбцы будут состоять из очень малых чисел, возможно, с некоторыми нулями. Метод весьма общий. Преобразования столбцов имеют следующий вид:

где матрица из уже преобразованных вектор-столбцов; следующий вектор-столбец X, подвергаемый преобразованию; вектор, оказывающийся ортогональным к вектор-столбцам, уже содержащимся в

Заметим, что -фактически остаточный вектор (вектор остатков) от после того как была построена регрессия на столбцы

Для иллюстрации этого процесса мы возьмем частный случай, он приводит к получению ортогональных полиномов при Пусть значения зафиксированы при 3, 4, 5 и постулируется модель

Исходная Х-матрица есть

Положим на первом этапе

(Для начала процесса преобразования надо выбрать какой-нибудь вектор-столбец.)

(кликните для просмотра скана)

Заметим, что первые три столбца есть ортогональные полиномы нулевого, первого и второго порядка для Четвертый столбец — ортогональный полином третьего порядка, умноженный на 1, 2 для

Как отмечалось, этот процесс совершенно общий. Зависимость между столбцами можно также обнаружить, зная, что в этом случае определитель матрицы (или корреляционной матрицы) равен нулю. Однако процедура преобразования имеет дополнительные преимущества: она выявляет зависимые столбцы.

Описанная выше процедура хорошо известна как метод ортого-нализации столбцов Грама-Шмидта (Gram-Schmidt). Другой подход к этой задаче заключается в том, чтобы перевести матрицу в корреляционную форму, как показано в той части параграфа 5.5, что начинается на с. 320, а затем найти собственные значения (характеристические значения, или латентные (скрытые) корни — все эти термины обозначают одно и то же) этой корреляционной матрицы. Если между -столбцами существуют линейные зависимости, то появятся нулевые собственные значения, а малые собственные значения (малые относительно диапазона от 0 до 1) будут служить указателями на возможные тесные зависимости. (См., например, с. 78 в работе Р. Сни о некоторых аспектах анализа неортогональных данных (Sпее R. D. Some aspects of non-orthogonal data analysis. Part I. Developing prediction equations.-Journal of Quality Technology, 1973, 5, April, p. 67-79).)

Соответствующие алгоритмы опубликованы в работах: Clayton D. G. Gram-Schmidt orthogonalization.- Applied Statistics, 1971, 20, p. 335-338 (Fortran); Farebrother R. W. Gram- Schmidt regression. - Applied Statistics, 1974, 23, p. 470-476 (Algol 60).