Приложение 9.1. Геометрия корреляции и регрессии
Используем здесь несколько измененные обозначения. Скалярные случайные величины будем обозначать большими буквами
Соответствующими малыми буквами обозначим соответствующие выборочные значения случайных величин. Имеются три типа коэффициентов корреляции, используемых в анализе данных, а именно коэффициент простой корреляции, коэффициент частной корреляции и коэффициент множественной корреляции. Коэффициент простой, или обычной, корреляции рассматривается только между парами случайных величин и обозначается через
для пары
Коэффициент частной корреляции
также определен для пары величин
при других заданных
величинах
Коэффициент множественной корреляции
определен для любой величины
и множества других величин
Все эти величины можно определить в геометрических терминах (Воннакотт, Воннакотт, 1970;
Величины
имеют нулевое среднее.
Предположим, имеется
наблюдений независимых одинаково распределенных величин
Пусть
Пусть все наблюдения нормированы таким образом, что сумма квадратов
компонент равна единице. Пусть
-мерные векторы
-мерного евклидова пространства будут случайными величинами
и пусть скалярное произведение
Пусть у — ортогональная проекция у на пространство, порожденное
— ортогональная проекция у на пространство, порожденное
ортогональная проекция
на пространство, порожденное
Пусть
коэффициент корреляции между
коэффициент корреляции между
Легко показать, что
Рис. П9.1 дает геометрическую интерпретацию различных коэффициентов корреляции для
Пусть векторы
направлены вдоль прямых
и
соответственно
Тогда
ортогональная проекция
на
ортогональная проекция у на плоскость
ортогональная
проекция
на
наконец,
Пусть
параллельно
Тогда
Дадим также геометрическую интерпретацию критерия проверки приемлемости регрессионного слагаемого. Предположим, нужно проверить приемлемость
в качестве независимой переменной регрессии для у, причем
уже выбраны в качестве независимых переменных. Для случая
из
на рис. П9.1 имеем
где
подходящая константа. В общем случае необъясненная дисперсия после построения регрессии
на
равна необъясненной дисперсии после построения регрессии
на
плюс дисперсия, объясняемая изменениями
Рис. П9.1.
Можно объяснить критерий в терминах коэффициента частной корреляции
Пусть
Тогда по построению тестовая статистика равна
Комментарии
Литература по обоснованию многомерных моделей не так обширна, как для одномерных, и подробные эмпирические исследования достаточно редки. Кенуй (1957) дает подробный анализ моделирования сельскохозяйственных данных. Идею методов, используемых в эконометрике для проверки моделей, можно почерпнуть у Клейна, Эванса (1968). Проблема причинности обсуждается многими авторами, включая Волда (1954), Гренджер (1963), Симса (1972), Кейнса, Чена (1974) и др. Однако все эти работы предполагают справедливость модели с постоянными коэффициентами, которая не всегда гарантирована.