2.3. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ; ОРТОГОНАЛЬНЫЕ НЕЗАВИСИМЫЕ ПЕРЕМЕННЫЕ

В представлении функции регрессии независимые переменные могут быть отнесены к различным -координатным системам. При этом некоторые координатные системы могут оказаться предпочтительнее других.

Пусть где произвольная невырожденная матрица, и пусть Тогда можно записать в виде

Компоненты векторов являются координатами векторов в новой координатной системе. Оценки для по наблюдениям выражаются соотношениями

В последнем использовано равенство

Функции, которые взяты в качестве оценок для функции регрессии, в обеих координатных системах принимают одинаковые значения

Независимые переменные можно разбить на два множества, и особо интересоваться множеством Например, может представлять интерес проверка нулевой гипотезы

В этом случае удобно преобразовать независимые переменные с помощью матрицы

где матрица квадратная. Тогда

Гипотеза эквивалентна, таким образом, гипотезе В результате преобразования вектора получим

Поскольку и

то -критерии для проверки обеих нулевых гипотез совпадают. Если в качестве матрицы взять матрицу

то векторы становятся ортогональными, т. е.

Поскольку же

то статистика F-критерия принимает в этом случае вид

Линейное преобразование можно выбрать таким образом, чтобы все компоненты вектора были попарно ортогональны. Пусть

где

Тогда и

т. е. зависит только от тех для которых Условия ортогональности вектора совпадают с условиями ортогональности вектора и имеют вид

При этих условиях матрица

диагональна. Для компонент соответственно имеем соотношения

(Если ортогональные переменные, кроме того, нормированы делением на то соответствующая процедура ортогонализации известна под названием процесса ортогонализации Грама — Шмидта.)

Если независимые переменные ортогональны, то формулы и вычисления по ним значительно упрощаются. Поскольку

то элементы векторов некоррелированы и имеют дисперсии, равные При этом нормальные уравнения принимают простой вид

а формула для оценки дисперсии переходит в

В этом случае F-статистика (12) из § 2.2 для проверки гипотезы равна

Иногда независимые переменные с самого начала выбираются ортогональными. Как будет показано в гл. 4, тригонометрические последовательности ортогональны для и могут быть использованы как компоненты вектора Ортогонализировать можно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна и та же совокупность независимых переменных используется многократно, то ортогонализация независимых переменных может дать большой выигрыш, сокращая объем вычислений.

Примером использования ортогонализации независимых переменных может служить полиномиальная регрессия. Предположим, что и

Степени переменной можно заменить ортогональными полиномами , имеющими вид

Здесь коэффициенты С зависят от длины ряда и степени полинома и определяются соотношениями

При этом

Более подробно ортогональные полиномы рассмотрены в § 3.2.

Большинство вычислительных методов решения нормальных уравнений включает в себя так называемые прямое и обратное решения. Прямое решение состоит из последовательности операций над строками матрицы в результате которой А приводится к треугольному виду. При этом преобразуется в матрицу или

Матрица имеет здесь форму матрицы Исследование выражения (27) показывает, что каждая строка из совпадает с соответствующей строкой матрицы так что [Различные методы приведения А к треугольному виду отличаются только последовательностью операций и являются в алгебраическом смысле эквивалентными при одинаково упорядоченных наборах переменных. Отметим, что прямое решение уравнения (27) для некоторого является частью прямого решения для любого последующего Таким образом,

Коэффициенты выборочной регрессии для ортогонализированных переменных можно получить из прямого решения нормальных уравнений: Фактически во многих вычислительных методах, таких, как метод Дулитла, каждая строка матрицы делится на старший отличный от нуля элемент и запоминается. При этом последний элемент каждой строки является коэффициентом регрессии при соответствующей ортогональной переменной. Таким образом, прямое решение связано с теми же алгебраическими преобразованиями, которые используются при определении ортогональных переменных. Существенное отличие, конечно, состоит в том, что вычисление ортогональных переменных связано с

получением чисел Отметим в заключение, что значение выражения можно получить из прямого решения как . (См. упр. 12.)