Корреляционная матрица

Пусть мы хотим построить модель

Центрируя данные, как показано выше, можно привести модель к виду

аналогично уравнению (5.5.8) при

Когда модель записана в такой форме, «матрица имеет

есть наблюдений, получающихся при Числа нередко могут сильно разниться. В больших -матрицах, скажем и более, это может часто приводить к ошибкам округления при обращении матрицы, даже когда работа ведется на вычислительной машине. Пусть производится следующее преобразование центрированных данных:

где можем сделать подобные преобразования переменных отбрасывая всюду индекс Это приведет к новой форме «центрированной модели»:

или

где — новые коэффициенты, которые подлежат оцениванию по преобразованным данным и представляют собой масштабированные исходные коэффициенты Когда модель записывается в такой форме, «матрица приобретает вид

и называется корреляционной матрицей -переменных, где

есть коэффициент корреляции между как сказано в параграфе 1.6. Так как мы можем теперь записать

где — корреляция между или (снова см. параграф 1.6), нормальные уравнения для новой модели упростятся и примут вид

МНК-оценки для Легко найти (используя тот факт, что решение этой системы уравнений:

где определитель матрицы корреляций,

Отметим здесь следующие моменты. В общем, преобразования регрессионной задачи к виду, в котором используются корреляции, удобны, так как они делают все числа, участвующие в вычислениях, лежащими между — 1 и 1. Когда все числа одного порядка, неблагоприятные эффекты ошибок округления минимизируются. Хотя при рассмотрении всего двух факторов опасность и невелика, она резко возрастает, когда задачи со многими независимыми переменными решаются на машине. (Общее правило таково: применение корреляции не необходимо, если задача достаточно проста и можно считать вручную. Однако оно входит существенной частью в хорошую машинную программу). При определении значений обеих оценок и приведенных выше, мы должны делить на определитель корреляционной матрицы. Отсюда, если величина очень близка к единице, очень близко к нулю, и формальный подход к вычислению приводит к неопределенности, делая их значения очень большими. Далее, это корреляция между Следовательно, если полностью или почти полностью зависят друг от друга или просто меняются одновременно или почти одновременно, то будет равен единице или почти единице, а будет нулем или почти нулем. Фактически, конечно, если равен нулю, то мы не можем произвести вычисления а, и как раньше, поскольку вместо двух нормальных уравнений в действительности имеется только одно. Общее следствие отсюда: важно вычислить значение определителя с тем, чтобы установить, имеется ли зависимость между нормальными

уравнениями. В более общих задачах корреляционная матрица имеет

но сделанные замечания справедливы, и вычисление определителя такой матрицы — важная часть любой хорошей вычислительной регрессионной программы. Конечно, когда рассматривается задача только с одной независимой переменной, то матрица станет просто числом — единицей.

Преобразования, сделанные выше для получения корреляционной матрицы из «матрицы включали репараметризацию Напомним также (см. с. 319), что есть оценка для величины Следовательно, оценки исходных коэффициентов получаются так

Некоторые машинные программы выводят на печать оба множества коэффициентов.