А.5. Спектральные разложения

Пусть А — это симметричная матрица порядка Допустим, что являются соответственно диагональной и невырожденной матрицами порядка удовлетворяющими соотношению

Тогда называют спектральным разложением матрицы А. В покомпонентной форме спектральное разложение выражается формулой

где

Пусть произвольный -мерный вектор-столбец. Величина

называется квадратичной формой, определяемой матрицей А. В соответствии с формулой мы имеем

где

Матрица А является положительно -оиределенной, если для всех Из равенства следует, что матрица А положительно (отрицательно) определена тогда и только тогда, когда все числа положительны (отрицательны).

Если ни одно число не равно нулю, то матрица А невырождена, и мы можем определить обратную матрицу

поскольку матрица предполагалась невырожденной, является диагональной матрицей с элементами

Любая симметричная матрица обладает бесконечным числом спектральных разложений. Среди них важную роль играют следующие разложения:

(а) Разложение в главных осях. Предположим, что в качестве взята ортогональная матрица V, удовлетворяющая условию

В этом случае мы заменяем обозначения на А и на Я. Тогда из равенств (А.5-1) и мы имеем

Пусть обозначает столбец матрицы Тогда равенство эквивалентно соотношениям

которые устанавливают тот факт, что являются соответственно собственными значениями и собственными векторами матрицы А. Равенство

представляет собой разложение в главных осях или разложение по собственным значениям матрицы А. Переходя к обратным матрицам в равенстве мы находим

при условии, что все числа Если при суммировании в формуле мы опустим все члены, для которых то мы получим матрицу называемую псевдообратной к матрице А. Это определение

псевдообращеиия применимо только к симметричным матрицам (по поводу общего случая см. формулы

Формулы показывают, как могут быть восстановлены прямая и обратная к ней матрицы, когда известны собственные значения и векторы. Рассмотрим теперь квадратичную форму Мы имеем

где

Поскольку матрица V ортогональная, преобразование, задаваемое формулой не меняет вида контуров функции т. е. вида поверхностей, на которых равна константе. Из равенства очевидно, что эти поверхности являются квадриками, направления их главных осей совпадают с векторами а длины главных осей обратно пропорциональны величинам Например, если и числа положительны, то контуры оказываются эллипсами, длины главных осей которых пропорциональны величинам и Если собственные значения примерно равны, то контуры будут почти окружностями; если они сильно отличаются друг от друга, контуры будут очень вытянутыми.

Более развернутый анализ методов вычисления собственных значений и векторов можно найти в книге Уилкинсона . Сводка операций быстрого и удобного метода, основанного на -алгоритме, представлена в предыдущем разделе. Если вычисления выполняются с точностью до знаков, то ошибка для каждого вычисленного собственного значения равна примерно где это собственное значение с наибольшей абсолютной величиной. Отсюда следует, что собственные значения, много меньшие, чем так, нельзя вычислить с большой точностью. Определим число обусловленности матрицы как отношение наибольшего собственного значения к наименьшему (по абсолютной величине). Вычисление малых собственных значений матрицы (соответствующих главным осям с большими длинами) с большим числом обусловленности ставит нас перед серьезной проблемой. К счастью, эту проблему можно обойти, если пользоваться различными спектральными разложениями, как это описывается ниже.

(б) Шкалированные разложения и обратные шкалированные разложения. Возникновение плохо обусловленных (большое число обусловленности) матриц, встречающихся в практике, часто определяется шкалированием переменных. Рассмотрим, например, функцию Она имеет матрицу Гессе

которая является идеально хорошо обусловленной, поскольку оба собственных значения равны единице. Заменим шкалу первой переменной, делая подстановку Оставим без изменений вторую

переменную, полагая В этих новых координатах и

Число обусловленности возросло от 1 до 1010. Это рассуждение подсказывает, что, прежде чем вычислять собственные значения и векторы, нам нужно задать матрицу в подходящей шкале.

Простейший способ шкалирования состоит в том, чтобы свести все диагональные элементы к единичной величине. Если наша матрица является матрицей Гессе, то это значит, что мы заменяем шкалы для всех переменных так, чтобы кривизна сечений целевой функции вдоль всех координатных осей в точке минимума была единичной. Если наша матрица является обратной к матрице Гессе, то мы шкалируем все переменные таким образом, чтобы получить единичные стандартные отклонения (см. раздел 7.5). Если наша матрица является положительно- или отрицательно-определенной, то предложенное шкалирование приводит величины всех внедиагональных элементов к значениям, меньшим, чем единица. Если же матрица не является положительно-определенной, то этот метод шкалирования может оказаться неудачным, оставляя очень большими внедиагональные элементы. Однако в целом этот метод приводил обычно к очень хорошим результатам.

Если при заданной матрице А мы определим диагональную матрицу В с элементами

то матрица

имеет элементы (за исключением тех, где или в частности, Будем называть матрицу С шкалированной модификацией матрицы А. Если А является ковариационной матрицей, то С будет корреляционной матрицей. Пусть разложение матрицы С в главных осях выражается формулой

где матрица П — диагональная; это собственное чение матрицы это матрица, столбцом которой служит вектор т. е. собственный вектор матрицы

Равенства можно объединить в одно, получая

где

Назовем соотношение шкалированным разложением матрицы А. Переходя к обратным матрицам в равенстве получаем

где

Назовем соотношение обратным шкалированным разложением матрицы А.

Ниже представлена сводка операций, требующихся для вычисления шкалированных разложений:

1) разделить каждый элемент на число формируя матрицу

2) получить собственные значения и собственные векторы матрицы

3) умножить элемент вектора на число чтобы получить вектор который служит столбцом матрицы

4) шкалированное разложение матрицы А определяется равенством

которое эквивалентно равенству

5) разделить элемент вектора и. на число чтобы получить вектор который служит столбцом матрицы

6) обратное шкалированное разложение матрицы определяется равенством

при условии, что все Оно эквивалентно равенству

Замечание. Заменять в перечисленных выше вычислениях каждый нулевой элемент А и на единицу.

Численные примеры приведены в разделе 5.21.

Вышеописанный алгоритм (если опустить пункты 3 и 4) можно рассматривать как метод вычисления обратной матрицы для симметричной матрицы. Маловероятно, что в таком качестве он заслуживает призовых мест по скорости вычислений, но он является вполне точным и устойчивым. Этот алгоритм дает возможность проникновения в структуру матрицы и позволяет нам генерировать «почти обратные» матрицы к матрице А. Под этим именем мы подразумеваем матрицы, которые (подобно псевдообратным) отличаются от матриц вида только значениями чисел причем последние выбираются так, чтобы придавать матрице желаемые свойства (например, положительную определенность или хорошую обусловленность). По поводу примеров см. разделы 5.7 и 5.8.

(в) Разложение типа квадратного корня. Если матрица А положительно определена, то оказывается возможным получать спектральные разложения, в которых единичная матрица, т. е.

Особый интерес представляет разложение, в котором является симметричной матрицей откуда следует, что Матрица называется квадратным корнем из матрицы А. Если является разложением матрицы А в главных осях, то, поскольку мы имеем

так что Здесь является диагональной матрицей с элементами Разложение Холецкого (см. например, [82]). Снова мы предположим, что матрица А является положительно-определенной и выберем Однако теперь мы уточним ситуацию, требуя, чтобы матрица была нижней треугольной матрицей т. е. матрицей, у которой все элементы выше главной диагонали равны нулю:

Поскольку мы имеем равенство которое в силу условия принимает вид:

Эти уравнения можно решить относительно рекуррентно. Согласно имеем

Из уравнений получаем

Затем, пользуясь уравнениями поочередно для получаем

Эти вычисления могут быть выполнены беспрепятственно при условии, что все выражения под каждым квадратным корнем положительны. Это будет иметь место тогда и только тогда, когда матрица является положительно-определенной. Из всех рассмотренных разложений последнее является единственным разложением, которое может быть выполнено как конечная процедура, которая требует примерно умножений. Все другие разложения основаны на вычислении собственных значений, которое требует организации итерационного процесса.

Разложение Холецкого особенно полезно при решении относительно х системы линейных уравнений

Эта система может быть переписана в виде

где

Далее, система с учетом треугольной структуры матрицы имеет вид:

Эти уравнения могут быть легко решены по очереди относительно Затем уравнения которые имеют вид

могут быть решены по очереди относительно Это самый быстрый метод решения системы когда матрица А положительно определена.

В заключение этого раздела мы сделаем замечание вычислительного характера. В большинстве приложений матрица А задается только в виде разложения (равенство Нас интересует вычисление некоторого вектора где известный вектор, но мы никак не пользуемся самой матрицей А. Нижеследующая система операций намного более экономична, чем вычисление сначала матрицы А, а затем вычисление вектора

1) допустим, что Вычислить вектор

2) вычислить вектор Это делается просто применением формулы к каждой координате вектора

3) вычислить .

В итоге естественный порядок вычислений выражается формулами:

Численный пример приведен в разделе 5.21.