Транспонирование и обращение

Теперь мы определим операцию транспонирования матрицы. Транспонированная матрица — это матрица, которая получается из исходной, если ее строки записать в виде столбцов, сохранив порядок их расположения. Таким образом, строки и столбцы исходной матрицы совпадают с соответствующими столбцами и строками транспонированной матрицы. Результат транспонирования матрицы М записывается с помощью символа М, например

Поскольку

можно записать

Аналогично

Далее

Вообще для модели в виде прямой линии справедливо

Кроме того,

Таким образом, в общем случае, при подгонке уравнения прямой линии

Это означает, что нормальные уравнения (1.2.8) могут быть записаны так:

где Решение этой системы уравнений дает МНК-оценки параметров Но как теперь решить эти уравнения в матричной форме? Для этого надо ввести определение обратной матрицы. Такая матрица существует только тогда, когда исходная матрица является квадратной и ее определитель (величина, которую мы здесь определять не будем, но будем использовать в некоторых примерах) не равен нулю. Это последнее условие обычно выражается словами: матрица является неособенной. Мы будем полагать, что в наших задачах матрицы неособенные, если, конечно, не оговорено обратное. В регрессионных задачах приходится обращать матрицу Если она особенная и, следовательно, для нее не существует обратной матрицы, то это обусловлено тем, что некоторые из нормальных уравнений являются линейными комбинациями остальных, см., например, уравнения (9.4.3). В этом случае мы будем иметь меньше уравнений, чем неизвестных, подлежащих определению. И здесь единственные оценки не могут быть получены, если на оцениваемые параметры не

наложены какие-либо дополнительные условия (дополнительные комментарии по этому поводу см. в гл. 9).

Допустим, теперь, что М есть неособенная -матрица. Матрица обратная к М, есть и такая, что

где единичная матрица порядка которая содержит единицы на всех позициях главной диагонали (т. е. диагонали, идущей из левого верхнего угла в правый нижний) и нули на остальных позициях. Например,

Если порядок единичный матрицы очевиден, то индекс часто опускается. Единичная матрица играет такую же роль в перемножении матриц, как и единица в перемножении чисел: она оставляет сомножители неизменными. Обратная матрица единственна.

Формулы для обращения матриц порядка 2 и 3 имеют вид:

где есть детерминант (определитель) -матрицы М.

где

и где

есть детерминант матрицы

Матрицы вида встречающиеся в регрессионных задачах, всегда симметричны. У этой матрицы элемент строки и столбца

равен элементу -строки и столбца. Следовательно, транспонирование симметричной матрицы не меняет ее. Это легко видеть, если применить общее правило для транспонирования произведения матриц. Так как мы можем записать . (Разбирая некоторые простые численные примеры, мы разъясним еще этот момент.) Если матрица М порядка 2 симметрична, то и обратная матрица будет также симметричной. Если матрица упомянутая выше, симметрична, то Тогда, переобозначая матрицу мы получим симметричную обратную матрицу

где

и где

есть детерминант матрицы Обратная матрица от любой симметричной матрицы есть, следовательно, симметричная матрица.

Матрицы, имеющие порядок больше трех, обычно трудно обращать, если они не имеют специальной формы. Матрица, которая легко обращается независимо от порядка, — это диагональная матрица, содержащая ненулевые элементы только на главной диагонали при условии, что остальные элементы — нули. Обратная матрица от нее получается путем обращения всех ненулевых элементов и сохранения их на тех же позициях, что и в исходной матрице. Например,

(Заметим, что в данном случае цифра 0 используется для обозначения больших треугольных блоков, состоящих из нулей. Что, впрочем, часто очевидно.) Этот результат мы используем в гл. 7.

Другой случай упрощения имеет место, когда некоторые столбцы матрицы X ортогональны ко всем остальным столбцам. Матрица приобретает тогда блочную форму

где, например, Р может быть -матрицей, -матрицей, а символ 0 в данном случае используется для обозначения блоков разного размера, состоящих из нулей. При этом блок, стоящий в правом верхнем углу, имеет размер а блок, находящийся в левом нижнем углу, — -матрица. Обратная матрица имеет вид

Например, если

то

Если имеется больше двух ненулевых блоков, то возможно очевидное обобщение. Важно при этом заметить, что ненулевые блоки должны стоять только на главной диагонали, а внедиагональные блоки должны быть нулевыми. Лишь в этом случае обобщение приведенного выражения возможно.

Формула обращения (2.1.14) применима даже в том случае, когда строки и столбцы, включающие ненулевые элементы, перемешаны, при условии, что матрица может быть разбита на части (подобные указанным выше), полностью отделяющиеся друг от друга с

помощью нулей. Например, используя те же числа, запишем матрицу

Ее можно представить в блочном виде и обращать отдельные блоки независимо. Заметим, что вторая и четвертая строки и столбцы полностью изолированы или отделены от первого, третьего и пятого столбцов нулями. Следовательно, ненулевые элементы во второй и четвертой строках и столбцах образуют -матрицу, которая может быть обращена независимо, в то время как остальные ненулевые элементы образуют совершенно изолированную 3 -матрицу, которую тоже можно обратить отдельно. Таким образом, обратная матрица имеет вид

Результаты такого типа будут приведены в гл. 7. Корректность всех этих операций обращения можно подтвердить с помощью умножения исходной матрицы на обратную как слева, так и справа. В итоге должна получиться единичная матрица соответствующего порядка. На практике, когда размер матрицы превышает и матрица не обладает формой, допускающей упрощение, нахождение обратной матрицы может стать громоздкой процедурой. Эту работу обычно проводят с помощью вычислительной машины. Некоторые авторы (см. библиографию) предлагают «ручные» методы обращения матриц, но мы с ними здесь дела иметь не будем.

Теперь мы должны обратить матрицу в нашем примере. Это матрица размера и общей формы, соответствующей выражению

(2.1.7). Используя уравнение (2.1.10), найдем обратную матрицу в виде

Если каждый элемент матрицы содержит общий сомножитель, то его можно вынести перед матрицей как сомножитель. наоборот, если матрица умножается на константу С, то это значит, что для получения итоговой матрицы надо каждый элемент исходной матрицы умножить на С.) Следовательно, альтернативная форма имеет вид

Так как матрица симметрична, обратная матрица как указывалось выше, также симметрична. Величина, стоящая перед скобкой в (2.1.16), есть обратная величина от детерминанта матрицы который обозначается в виде или Принимая за основу (2.1.15) и пользуясь данными нашего примера, мы найдем, что