8.4.2. Оценивание собственных значений и собственных векторов.

После того как число наблюдений выбрано, следующая задача заключается в оценке собственных значений и собственных векторов корреляционной матрицы Для этого вычислим выборочную корреляционную матрицу:

и затем — собственные значения и собственные векторы матрицы Важно заметить, что это оценки и что они являются случайными величинами и векторами, зависящими от выборки

В этом разделе мы выведем приближенные формулы для математических ожиданий и дисперсий этих оценок. Пользуясь этими формулами, можно определить значение при котором оценки являются достаточно точными. Статистики собственных векторов и собственных значений матрицы случайных величин изучались в [Уилкинсон, 1965; Андерсон, 1963].

Общий метод решения задачи заключается в том, чтобы вычислить распределение а по нему найти распределения собственных векторов и собственных значений. Однако, так как для достаточно больших можно выразить с помощью приближенных формул (2.205) и (2.206):

и

Рассмотрим вначале математическое ожидание этой оценки Так как то математическое ожидание матрицы определяемой по (8.97), имеет вид

Поэтому

Из (8.98) и (8.99) следует, что

и

Таким образом, видно, что оценки приближенно являются несмещенными. Дисперсии оценок и Ф; имеют вид

Математические ожидания (8.104) и (8.105) можно подсчитать с помощью производящих функций выборок, как показано в приложении 8.1.

Нормальный (гауссовский) процесс.

В частном случае, когда подчиняются нормальному распределению с вектором математического ожидания М и корреляционной матрицей выражения (8.104) и (8.105) принимают вид (с учетом приложения 8.1)

где

Как видно из уравнений (8.106) и (8.107), дпсперсцп являются произведением и некоторых коэффициентов, не зависящих:

от N. Этикоэффициенты определяются корреляционной матрицей и математическим ожиданием М.

Для верхних границ можно получить гораздо более простые формулы, исключив члены в уравнениях

Эти равенства выполняются, когда математические ожидания известны и равпы нулю.

Уравнение (8.109) дает границу величины зависящуютолько от Уравнение (8.110) дает границу величины зависящую от и отношений собственных значений матрицы Таким образом, можно выбрать для оценки собственных значений с желаемой точностью, а затем определить , которые дает точные оценки собственных векторов.

Пример 8.6. Рассмотрим численный пример.

Пусть — стационарный нормальный случайный процесс с корреляционной функцией

Если наблюдается в моменты времени то элементы матрицы имеют вид

где

Коэффициенты ошибки (8.110) определяются собственными значениями матрицы Варьируя мы получим семейство матриц Найдем коэффициенты ошибки для различных матриц этого семейства.

Величина фиксирована. Для каждого значения имеем коэффициентов ошибки Считаем, что упорядочены в соответствии с уменьшением X.

На рис. 8.5 приведен график изменения коэффициентов зависимости от для Наиболее важный вывод заключается в том, что значения коэффициентов ошибки лежат в пределах от 0,1 до 100. Таким образом, число точек,

необходимое для оценки только доминирующих собственных векторов, намного меньше, чем число точек, необходимое для оценки всех собственных векторов.

Вариация наибольшего коэффициента ошибки. Предположим, что мы должпы оценить все собственные векторы с заданной точностью. Тогда, если размерность равна то — является ограничивающим фактором.

Рис. 8.5. (см. скан) Коэффициенты ошибки для [Фукунага, 19705].

Рис. 8.6. (см. скан) Величина максимального коэффициента ошибки [Фукунага, 197061.

Следовательно, изменение в зависимости от и показывает, как должен расти размер выборки при увеличении для обеспечения заданной точности. На рис. 8.6 показано изменение чтах при разных значениях Видно, что растет приблизительно как

Не гауссовские процессы.

Результаты, полученные для нормальных процессов, полезны во многих задачах, в которых случайный процесс имеет унимодальное распределение. Если структура распределения очень сложна или неизвестна, вычисление оценок (8.104) и (8.105) становится очень сложным. В этом случае и применимость разложения Карунена — Лоева сама по себе становится сомнительной. Таким образом, условие унимодальности, по-видимому, является естественным ограничением.