2.3.5. Одновременная диагонализация двух матриц.

С помощью линейного преобразования можно одновременно привести к диагональному виду две симметрические матрицы и . Это преобразование состоит в следующем:

1) На первом шаге применим к X декоррелирующее преобразование

где 0 и Ф — соответственно матрицы собственных значений и собственных значений матрицы К, поскольку

Затем преобразуем к виду

В общем случае матрица К не является диагональной.

2) На втором шаге применим ортонормированное преобразование для диагонализации матрицы К, т. е.

где — соответственно матрицы собственных векторов и собственных значений матрицы К, поскольку

Из выражения (2.113) следует, что определенная в (2.117) матрица инвариантна при этом преобразовании. Таким образом,

Тем самым обе матрицы приведены к диагональному виду.

На рис. 2.6 изображен двумерный пример одновременной диагонализации двух матриц. Применение первого и второго шага дает общую матрицу преобразования .

Однако матрицы и можно вычислить непосредственно по и без применения описанного выше двухшагового процесса. Это осуществляется следующим образом.

Рис. 2.6. Одновременная диагонализация матриц.

Теорема. Две симметрические матрицы можно привести к диагональному виду

где А и — соответственно матрицы собственных значений и собственных векторов матрицы и кроме того,

Доказательство. Так как X — собственные значения матрицы К, определенной выражением (2.120), то

Заменяя матрицы К к I выражениями (2.117) и (2.118), получим

Так как матрица преобразования невырождена, то и Поэтому имеем

Таким образом, являются собственными значениями матрицы Подставляя выражение (2.118) в (2.120), получим выражение для собственных векторов

или

На основании соотношения (2.117) выражение можно заменить на тогда

или

Таким образом, матрицу преобразования можно вычислить как матрицу собственных векторов матрицы

Здесь следует сделать одно замечание. Как правило, матрица собственных векторов автоматически удовлетворяет условию ортонормированности (2.101). Однако при одновременной диагонализации матриц нормировка должна быть выполнена так, чтобы вместо уравнения (2.101) удовлетворить первому уравнению в (2.123). Это можно осуществить изменением масштаба каждого собственного вектора, решив следующие задачи.

1) Найти ортонормированные собственные векторы матрицы

2) Изменить масштаб собственных векторов так, чтобы выполнялись условия

В результате компонента матрицы в выражении (2.131) будет равна

Следует отметить, что в задачах распознавания образов одновременная диагонализация двух матриц является весьма эффективным методом, так как во многих случаях рассматривается

задача с двумя распределениями. Кроме того, существует множество модификаций рассмотренного выше метода. Выбор конкретной модификации зависит от интересующих свойств, вида матриц и т. д. В этом параграфе мы рассмотрим одну модификацию, которая будет использована в последующих главах.

Модификация.

Теорема. Пусть матрица состоит из линейной комбинации двух симметрических матриц

где предполагается, что и а? — положительные числа. Если собственные векторы матрицы нормировать в соответствии с первым уравнением (2.123), то матрицы будут иметь одинаковые собственные векторы и собственные значения, упорядоченные следующим образом:

Доказательство. Приведем матрицы и одновременно к диагональному виду, т. е.

где

Тогда матрица также будет диагональной, так как из выражений (2.136) и (2.139) следует, что

или

Следовательно, матрицы имеют одинаковые собственные векторы, нормированные относительно в соответствии с первым уравнением (2.123), и если что следует из (2.142).

Пример 2.14. Пусть является смесью автокорреляционных матриц двух распределений с автокорреляционными матрицами В таком случае

Используя вышеприведенную теорему, можно матрицы имеющие одинаковые собственные векторы, привести к диагональному виду. Так как при этом собственные значения

матрицы упорядочиваются в обратном порядке по отношению к собственным значениям матрицы то собственный вектор, соответствующий наибольшему собственному значению для первого распределения, имеет наименьшее собственное значение для второго распределения и наоборот [Фукунага, Кунтц, 1970в]. Это свойство оказывается полезным при классификации двух распределений и будет использовано в последующих главах.