10.2. Канонический анализ векторных случайных величин

Пусть задан - компонентный случайный вектор,

    (10.2.1)

причем X имеет компонент. Предположим, что среднее значение (10.2.1) есть

а его ковариационная матрица

    (10.2.3)

Поставим такую задачу; определить вектор размерности s, -матрицу В и -матрицу С так, чтобы оказался мал вектор

    (10.2.4)

В качестве меры величины (10.2.4) выберем действительное число

здесь Г — некоторая положительно определенная симметричная матрица. Справедлива

Теорема 10.2.1. Пусть задана -мерная векторная случайная величина (10.2.1) со средним (10.2.2) и ковариационной матрицей (10.2.3). Предположим, что матрицы и Г

невырожденны. Тогда минимум (10.2.5) обеспечивается выбором.

    (10.2.6)

и

    (10.2.8)

собственный вектор матрицы Если обозначает соответствующее собственное значение, то величина минимума дается выражением

    (10.2.9)

Особенно важен частный случай . Тогда приходится отыскивать собственные значения и векторы матрицы Если обозначить их и , то ковариационная матрица ряда ошибок

    (10.2.10)

при указанном в теореме выборе

    (10.2.11)

и

    (10.2.13)

окажется равной

    (10.2.14)

Полагая теперь q — r, приходим к схеме множественной регрессии (соответствующие результаты сформулированы в виде теоремы 8.2.1). При и приходим в сущности к результату теоремы 9.2.1. Близкий по содержанию к теореме 10.2.1 результат приводит Rao (1965, стр. 505).

С этой теоремой весьма тесно связана следующая задача: определить -матрицу -матрицу D и -матрицу Е

так, чтобы оказался мал вектор

    (10.2.15)

Изучение этого вопроса приводит к такому ответу.

Теорема 10.2.2. Пусть задан случайный вектор (10.2.1) со средним (10.2.2) и ковариационной матрицей (10.2.3). Допустим, что невырожденны. Вектор размерности -матрица D и -матрица Е, удовлетворяющие условию которые минимизируют

    (10.2.16)

задаются выражениями

    (10.2.17)

и

    (10.2.19)

здесь обозначает собственный вектор матрицы обозначает собственный вектор матрицы Если обозначает собственное число любой из этих двух матриц, то минимальное значение (10.2.16) равно

Далее мы находим, что ковариационная матрица величины

имеет вид

    (10.2.21)

Это обстоятельство служит основанием для введения канонических переменных (канонических величин)

в данном определении и пропорциональны соответственно . Коэффициенты канонических переменных удовлетворяют условиям

    (10.2.23)

и

    (10.2.24)

Мы будем нормировать их так, чтобы

    (10.2.25)

Заметим, что иногда предпочитают нормировку Однако выборочные свойства эмпирических переменных упрощаются, если применять условия (10.2.25). Введем еще

Следствие 10.2.2. При выполнении условий теоремы 10.2.2

    (10.2.27)

и

    (10.2.29)

Величина называется канонической корреляцией, это название оправдывается равенством (10.2.28). Подчеркнем,

что введенные нами переменные можно было бы получить и иначе, с помощью теоремы 10.2.1,в которой для этого надо взять

Впервые канонические переменные ввел Hotelling (1936) как линейные, комбинации компонент X и Y, имеющих экстремальные корреляции. К этому направлению примыкают работы: Обухов (1938, 1940), Anderson (1957), Morrison (1967), Rao (1965), Kendall, Stuart (1968). В случае когда вектор (10.2.1) является гауссовским, первая каноническая переменная будет экстремальной в более широком классе величин, см. Lancaster (1966). Канонические переменные весьма полезны при изучении зависимостей между двумя случайными векторами [Hotelling (1936)], при дискриминантном анализе [Glahn (1968), Dempster (1969, стр. 186), Kshirsagar (1971)], при отыскании общих факторов [Rao (1965, стр. 496)], при предсказании значений одних величин по значениям других [Dempster (1969, стр. 176), Glahn (1968)] и при исследовании систем линейных уравнений [Hooper (1959), Hannan (1967с)].

Рассмотрим сейчас некоторые аспекты оценки указанных выше параметров. Для удобства предположим, что Пусть в нашем распоряжении имеется выборка

    (10.2.30)

, случайного вектора, удовлетворяющего условиям теоремы 10.2.2. Возьмем в качестве оценки (10.2.3)

Тогда оценки определяются из уравнений

    (10.2.32)

и

    (10.2.33)

при нормировке,

    (10.2.34)

Далее, при формулировке теоремы воспользуемся обозначениями

Теорема 10.2.3. Допустим, что величины (10.2.30) образуют выборку объема из распределения

Предположим, что и что собственные значения различны. Тогда случайные величины асимптотически нормальны, а асимптотически не зависит от Асимптотические моменты задаются формулами

(см. скан)    (10.2.38)

Асимптотические выражения для дисперсий рассматриваемых статистик можно теперь получить, пользуясь формулами (10.2.41)- (10.2.44). Отметим, что для

    (10.2.45)

поэтому проще будет рассмотреть преобразованную величину Для практических целей, вероятно, полезнее всего асимптотические оценки моментов второго порядка, которые получаются при помощи „процедуры складного ножа“; см. Brillinger (1964с, 1966b).

Если можно заметить, что квадрат канонической корреляции является возведенным в квадрат коэффициентом множественной корреляции, рассматривавшимся в § 8.2.

Асимптотику ковариации величин вывел Hotelling (1936). Hsu (1941) нашел асимптотическое распределение; Lawley (1959) отыскал кумулянты старших порядков; Chambers (1966) установил вид следующих членов в асимптотическом разложении для средних; Dempster (1966) рассмотрел проблему уменьшения отклонений; Hooper (1958) вывел формулы для асимптотических ковариаций, предполагая фиксированными точное распределение выборочных канонических корреляций, которое зависит лишь от канонических корреляций генеральной совокупности, приведено в работах Constantine (1963) и James (1964). Распределению векторов посвящена статья Tumura (1965), а вычислительным аспектам —Golub (1969). В нормальном случае Izenman (1972) нашел асимптотическое распределение оценки для СВ из (10.2.4).

Нам понадобятся аналоги рассмотренных результатов для векторов с комплексными компонентами. Пусть такой вектор

    (10.2.46)

имеет компонент; обозначив его среднее через

и ковариационную матрицу — через

предположим, что

    (10.2.49)

Тогда имеет место

Теорема 10.2.4. Пусть заданы случайный вектор (10.2.46) с комплексными компонентами, его среднее (10.2.47) и ковариационная матрица (10.2.48). Предположим, что и Г невырожденны, причем Тогда минимум выражения

    (10.2.50)

достигается при выборе -матрицы

    (10.2.51)

-матрицы

    (10.2.52)

и

    (10.2.53)

здесь обозначает собственный вектор матрицы . Если — соответствующее собственное значение, то минимум (10.2.50) равен

    (10.2.54)

Подчеркнем, что определены лишь с точностью до множителя, равного по модулю 1. Далее справедлива

Теорема 10.2.5. Рассмотрим -компонентный случайный вектор (10.2.46) со средним (10.2.47) и ковариационной. матрицей (10.2.48). Пусть матрицы и невырожденны. Тогда матрица -матрица D и -матрица Е, для которых доставляют минимум выражению

    (10.2.55)

если

    (10.2.56)

и

    (10.2.58)

где обозначает собственный вектор матрицы собственный вектор матрицы

Как и в случае действительных векторов, мы приходим к величинам

    (10.2.59)

с коэффициентами пропорциональными соответственно. Выберем нормировку

В таком случае получим

Следствие 10.2.5. При выполнении условий теоремы 10.2.5

    (10.2.61)

Если собственное значение матрицы обозначить символом то окажется, что

при Величины при будем называть парой канонических переменных, а число назовем каноническим коэффициентом корреляции. При полагаем и выберем «у и так, чтобы

    (10.2.68)

Канонические переменные для комплексных случайных величин встречаются в работе Пинскера (1964, стр. 134).

Предположим теперь, что и и что нам известна выборка

    (10.2.69)

, значений величины (10.2.46), о которой шла речь в теореме 10.2.5. Построим оценку величины (10.2.48), взяв

Тогда оценки определятся из уравнений

    (10.2.71)

и

    (10.2.72)

при условиях нормировки

и

В теореме 10.2.6 будем считать, что

    (10.2.75)

и

Теорема 10.2.6. Предположим, что величины (10.2.69) представляют собой выборку объема из распределения

Пусть все собственные значения различны и Тогда величины асимптотически нормальны и асимптотически не зависит от Выражения для асимптотических моментов имеют вид

(см. скан)    (10.2.78)

и

(см. скан)    (10.2.84)

Отметим также, что асимптотически величины

    (10.2.88)

имеют комплексное нормальное распределение. Кроме того,

    (10.2.89)

James (1964) приводит точное распределение и в комплексном случае.