3.8. Случай, когда матрица плана имеет неполный ранг

3.8.1. Оценивание по методу наименьших квадратов

Когда методы регрессионного анализа используются для анализа данных, полученных в результате осуществления тех или иных планов эксперимента то элементы матрицы X оказываются равными 0 или 1, а ее столбцы, как правило, линейно зависимы. Рассмотрим, например, план с рандомизированными блокамиг)

где представляет собой, отклик на воздействие в блоке. В этом случае

т. е. матрицы X, например, первый столбец линейно зависит от остальных ее столбцов.

В § 3.1 мы построили теорию наименьших квадратов, которая применима независимо от того, имеет матрица X полный ранг или нет. В приводимой ниже теореме мы формулируем соответствующие результаты для случая, когда матрица X имеет неполный ранг.

Теорема 3.8. Пусть где и -матрица размера ранга Тогда

(i) величина ее достигает Минимума относительно

при где любое из решений нормальных уравнений ;

(ii) для каждого ненулевого вектора значение единственно.

Доказательство. (i) Нормальные уравнения всегда разрешимы относительно поскольку Однако решение в данном случае не будет единственным, так как матрица имеет ранг следовательно, вырождена. Если произвольное решение нормальных уравнений, то полагая получаем соотношение Поэтому в силу соотношения (3.4) из § 3.1 0 является единственной ортогональной проекцией вектора на и минимальное значение величины ее есть

Из соотношения имеем

а это значение единственно.

Из замечаний, следующих за теоремой 3.1, вытекает, что где — симметричная идемпотентная матрица ранга Поэтому, повторяя доказательство теоремы 3.3, § 3.3, получаем, что величина является несмещенной оценкой для Если при этом нормальный вектор, то, как следует из теоремы

Отметим, что следует рассматривать здесь как решение нормальных уравнений, а не как оценку вектора Интуитивно ясно, что если матрица X имеет неполный ранг, то значение вектора оценить попросту невозможно, так как для заданного представление уже не будет единственным. Тем не менее, как мы увидим в разд. 3.8.2, линейные комбинации поддаются оцениванию даже и в этом случае.

Рассмотрим теперь три метода отыскания решения нормальных уравнений или непосредственного отыскания RSS.

(а) Приведение исходной модели к модели полного ранга

Очевидный метод отыскания RSS состоит в приведении исходной модели регрессии к модели полного ранга. Если —матрица размера образованная линейно независимыми столбцами матрицы X, то и

Без ограничения общности мы можем предполагать, что матрица образована первыми столбцами матрицы X, так что

При этом поскольку столбцы матрицы линейно зависят от столбцов матрицы Это частный случай более общей факторизации

где К — матрица размера ранга — матрица размера ранга Используя эту факторизацию, можно записать в виде и работать уже с вектором а.

Такая перепараметризация исходной модели служит основой программы ANOVA, служащей для вычислений, связанных с дисперсионным анализом [Воск (1963, 1965)]. Эту перепараметризацию использовал также Fowlkes (1969) (соответствующая программа в его статье носит название CODE). Bock одним из первых стал применять регрессионные методы для дисперсионного анализа с использованием мощных вычислительных машин. Другие преимущества перепараметризации продемонстрированы в работе Johnson (1971).

(b) Введение идентифицирующих ограничений

Этот метод заключается в введении совокупности ограничений вида которая позволяет избежать неопределенности при отыскании решения нормальных уравнений. Мы, в частности, требуем выполнения таких ограничений (называемых здесь идентифицирующими ограничениями), чтобы для каждого существовало единственное значение для которого одновременно и т. е.

Решается эта задача просто. Выберем в качестве строк матрицы какую-нибудь совокупность линейно независимых -векторов, не зависящих линейно от строк матрицы Тогда -матрица имеет ранг так что матрица имеет размер и ранг а потому обратима. Таким образом, введением мы компенсировали неполноту ранга матрицы Добавление к нормальным уравнениям уравнения приводит к соотношению откуда Заметим, что соотношение влечет за собой (так как матрица единственна).

Дадим теперь доказательства приведенных утверждений. Читатель может при первом чтении опустить детали.

Теорема 3.9. (Scheffe (1959, с. 17).) Если —матрица размера то ограничения являются идентифицирующими ограничениями тогда и только тогда, когда

(i) (т. е. строки матрицы X линейно не зависят от строк матрицы и

(ii) столбцы матрицы линейно независимы.

Доказательство. Покажем, что условие (i) необходимо и достаточно для существования удовлетворяющего соотношению (3.42) при каждом и что условие (ii) необходимо и достаточно для единственности такого

Обращаясь к условию видим, что указанное существует тогда и только тогда, когда

Это равносильно тому, что каждый вектор, ортогональный ортогонален и при каждом Пусть произвольный вектор размерности Тогда справедливы следующие эквивалентные утверждения. Из соотношения вытекает, что для каждого Из соотношения вытекает, что для каждого Из соотношения вытекает, что (а потому и Таким образом, соответствующее существует в том и только том случае, когда не существует такой нетривиальной (отличной от нуля) линейной комбинации строк матрицы X, которая являлась бы линейной комбинацией строк матрицы т.е. тогда и только тогда, когда

Обратимся теперь к условию Предположим, что для каждого существует удовлетворяющее соотношению Тогда для единственности этого необходимо и достаточно, чтобы столбцы матрицы были линейно независимыми. (Если столбцы матрицы связаны линейной зависимостью, то некоторого так что соотношению удовлетворяют и

Следствие. Из доказанной теоремы видно, что если X — матрица размера ранга а — матрица размера то условия в совокупности равносильны условиям: (поскольку в силу независимых строк матрицы должны быть образованы строками матрицы строками матрицы . Если в системе уравнений нет дублирующих друг друга уравнений, т. е. если строки матрицы линейно независимы, то .

Если то в силу доказанной теоремы при надлежащим образом выбранной матрице существует единственное удовлетворяющее (3.42), т.е. (или из Поэтому как и утверждалось выше.

Интересно отметить, что при условии

так что является несмещенной оценкой для Кроме того, если мы минимизируем величину при условии то из уравнения (3.57), разд. 3.9.1, видно, что слагаемое содержащее множитель Лагранжа, обращается в нуль. Поэтому, если так что столбцы матрицы Нлинейно независимы, то

Рассмотренный метод, использующий идентифицирующие ограничения, особенно употребителен в моделях дисперсионного анализа поскольку матрица для них находится без труда. Весьма полезными теоретическими свойствами этого метода являются несмещенность и равенство . В разд. 11.5.4 приведен алгоритм для проведения необходимых вычислений.

(с) Вычисление обобщенной обратной матрицы

Если С — произвольная обобщенная обратная матрица для матрицы то является решением нормальных уравнений и

Обобщенная обратная матрица для произвольной -матрицы В определяется как любая матрица удовлетворяющая условию

Такая матрица существует всегда (Searle (1971, гл. 1)). Термин "обобщенная обратная" для матрицы определяемой условием не является общеупотребительным, хотя, и используется весьма широко [см., например, Rao (1973), Rao, Mitra (1971а, 1971b), Pringle, Rayner (1971), .Searle (1971), Kruskal (1975)]. В литературе матрицу называют также условно обратной, псевдообратной, -обратной и -обратной, причем эти же названия иногда употребляются и для различных вариантов матрицы Так, например, Graybill (1969) называет матрицу условно обратной (conditional inverse), а обобщенной обратной называет матрицу определяемую ниже.

Следует отметить, что матрица определяемая условием не единственна. Переходя в к транспонированным матрицам, имеем

так что -обобщенная обратная матрица для -В. Поэтому для некоторой матрицы можно утверждать, что

Если матрица В - удовлетворяет, кроме еще трем условиям, а именно:

то она единственна и называется обратной матрицей Мура — Пенроуза [Albert (1972)]. Некоторые авторы называют ее псевдообратной или -обратной. Такую матрицу будем обозначать символом

Полагая теперь и мы получаем

является решением уравнения (В действительности в силу каждое решение уравнения можно представить в виде для некоторой матрицы Существует несколько способов вычисления матрицы для симметричной матрицы Один из них состоит в следующем.

(1) Из матрицы выбрасывают строк и столько же столбцов с соответствующими номерами и получают невырожденную матрицу размера Это всегда можно сделать, поскольку

(2) Обращают полученную -матрицу.

(3) Получают матрицу В путем добавления к обращенной -матрице нулевых строк и столбцов, располагая их на месте удаленных из матрицы В строк и столбцов. Например, если

и — невырожденная матрица размера то

Другой метод отыскания В- состоит в использовании идентифицирующих ограничений. Если ограничения достаточны для идентификации и то можно показать (см. упр. 7 и 8 из упражнений что матрицы в представлении

и также будут обобщенными обратными для матрицы В.

Мы видели выше, что вектор

является решением нормальных уравнений. Поскольку (в силу условий

можно умножить обе части равенства слева на и получить соотношение

Таким образом, матрица обобщенная обратная для X в силу условия (а). Используя аналогичные соображения, мы найдем, что то же верно в силу условий (b) и (с). Оказывается, что матрица, являющаяся обобщенной обратной для X удовлетворяет условиям тогда и только тогда, когда ее можно представить в виде (Pringle, Rayner (1971, с. 26)). В то же время любая матрица удовлетворяющая только условиям и приводит к следующему соотношению (второе равенство — следствие а последнее получается из транспонирования условия

так что является решением нормальных уравнений. В частности, — единственное решение нормальных уравнений, минимизирующее (Peters, Wilkinson (1970)). Численные методы отыскания матриц описаны в гл. 11. (разд. 11.5.1, 11.5.3 и 11.5.5 соответственно).

Заметим, наконец, что так что в силу -единственная матрица, проектирующая на Единственность, симметричность и идемпотентность матрицы можно доказать и непосредственно, как в упр. 6. из упражнений

Упражнения 3h

(см. скан)

(см. скан)