2.4.4. Определитель и ранг матрицы.

Теорема. Определитель матрицы равен произведению всех собственных значений и инвариантен относительно любого юртонормированного преобразования,

Доказательство. Так как определитель произведения матриц равен произведению определителей матриц, то

Теорема. Ранг матрицы равен числу ее ненулевых собственных значений.

Доказательство. Матрицу можно представить выражением

где — линейно независимые, нормированные, взаимно ортогональные векторы. Поэтому, если имеется собственных значений, равных нулю, то можно определить с помощью линейно независимых векторов, которые и определяют ранг матрицы, равный

Проиллюстрируем эту теорему на следующих трех призерах.

Пример 2.19. Получим соотношение между определителями ковариационной и автокорреляционной матриц. Из (2.30) следует

Пусть — собственные значения матрицы Так как — несимметрическая матрица, то собственные значения могут быть комплексными числами. Собственные значения матрицы будут равны Поэтому

С другой стороны, ранг матрицы равен единице. Поэтому собственные значения должны удовлетворять следующим условиям:

Таким образом,

Пример 2.20. Когда имеется только объектов в -мерном векторном пространстве, выборочная автокорреляционная матрица вычисляется следующим образом:

Другими словами, автокорреляционная матрица является функцией или меньшего числа линейно независимых векторов. Поэтому ранг матрицы будет не более . Тот же вывод можно сделать и для ковариационных матриц. Эта задача, называемая задачей при малых объемах выборки, часто встречается при распознавании образов, в частности, когда размерность пространства очень велика.

Для этого типа задач вместо вычисления собственных значений и собственных векторов матрицы порядка представляется более эффективной следующая процедура [Маклафлин, Равив, 1968]. Пусть -выборочные объекты. Тогда выборочная автокорреляционная матрица

где — матрица порядка т. е.

Вместо использования матрицы порядка определяемой по уравнению (2.170), вычислим собственные значения и собственные векторы матрицы порядка следующим образом:

Умножив левую и правую части уравнения (2.172) на матрицу получим, что

Таким образом, матрицы представляют собой собственных векторов и собственных значений матрицы Другие собственных значений равны нулю, а соответствующие собственные векторы. не определены.

Преимущество этого вычислительного процесса заключается в том, что для вычисления собственных значений и собственных векторов используется только матрица порядка тт. Однако, собственные векторы представляют собой

ортогональные, но не ортономированпые векторы. Для того чтобы получить ортонормированные собственные векторы нам нужно разделить каждый вектор-столбец матрицы на величину т. е.

так как из выражения (2.172) следует, что

Пример 2.21. Во многих задачах распознавания образов размерность пространства может быть очень большой, например, порядка 1000. Однако только несколько собственных значений, например 10, являются преобладающими, т. е.

Ото означает, что практически ранг матриц или равен k, даже если математически ранг тех же матриц все же равен Поэтому весьма неэффективно использовать матрицы порядка для нахождения к собственных значений и собственных векторов, даже если объем выборки больше, чем Кроме того, здесь возникают определенные вычислительные трудности, связанные с обработкой почти вырожденных матриц большого размера.

Например, рассмотрим вычисление матриц или Определитель равен , но собственных значений Я очень близки к нулю. Пусть причем сумма первых десяти слагаемых равна Тогда в предположении, что Яюоо, определитель равен

т. е. очень малой величине. Однако в рассматриваемом случае может быть использован метод предыдущего примера.

Далее мы исследуем взаимосвязь между точностью оценок собственных векторов и объемом выборки. Эта взаимосвязь оказывается полезной для составления матрицы