11.5.4. Ортогональное разложение с идентифицирующими ограничениями

В разд. 3.8.1 мы видели, что если уравнения (где матрица имеет размер и ранг являются идентифицирующими ограничениями и

то нормальные уравнения принимают вид

Поскольку (согласно теореме 3.9 из разд. 3.8.1) матрица имеет размер и Ранг » можно применить метод ортогонального разложения к расширенной матрице дополненной строками

Такой способ решения нормальных уравнений обладает целым рядом преимуществ. Во-первых, не обязательно должно быть равным всякие дублирующие ограничения при этом автоматически обнаруживаются (это свойство полезно для некоторых задач дисперсионного анализа). Во-вторых, порядок, в котором регрессоры входят в модель, фиксирован и определяется порядком расположения столбцов матрицы Это означает, что для любой подмодели, определяемой, скажем, первыми столбцами матрицы можно произвести проверку гипотезы о том, что в действительности мы имеем дело именно с этой подмоделью, а не с полной моделью. После того как первые столбцов приведены к треугольному виду, сумма квадратов преобразованных элементов вектора становится равной регрессионной сумме

квадратов для подмодели, подобранной к этому моменту. Поэтому можно проверить гипотезу об адекватности подмодели, используя для этой цели -статистику

Хорошей иллюстрацией этого является ковариационный анализ (гл. 10); сопутствующие переменные упорядочиваются первыми. Рассмотрим, например, классификацию по одному признаку

с единственной сопутствующей переменной и идентифицирующим ограничением (Для простоты изложения мы предполагаем Тогда имеет вид

и для проверки гипотезы можно использовать значение получаемое после того, как пара первых столбцов матрицы приведена к верхнему треугольному виду.

При проверке гипотез о подмоделях может возникнуть одно затруднение. Дело в том, что идентифицирующие ограничения для полной модели могут не подходить для подмодели. Предположим, например, что

где матрица плана для подмодели. Тогда, хотя уравнения могут являться идентифицирующими ограничениями для вовсе не обязательно, что уравнения будут идентифицирующими ограничениями для (Так, строки матрицы могут и не быть линейно независимыми, как того требует теорема 3.9). К счастью, такая проблема обычно не возникает в дисперсионном и ковариационном анализе, поскольку обычно

В плане с рандомизированными блоками

например, можно использовать идентифицирующие ограничения

Если идентифицирующие ограничения не описаны заранее, то можно воспользоваться следующим методом [Gentleman (1974а, При применении любого алгоритма ортогонального разложения всякое уменьшение проявляется теоретически в появлении нулевой строки в матрице Практически же в связи с ошибками округления оно проявляется в появлении строк с очень малыми диагональными элементами. Вычисление расположенных ниже строк хотя и производится, но является бессмысленным. Предположим, что все элементы строки приблизительно равны нулю, так что столбец матрицы X приблизительно линейно зависит от ее первых столбцов. Мы можем преодолеть эту трудность, полагая элемент вектора равным нулю. Иначе говоря, мы добавляем идентифицирующее ограничение где -вектор, элемент которого равен единице, а все остальные элементы равны нулю. Перетриангуляция расширенной системы, производимая, начиная с столбца, приводит к вполне удовлетворительному разложению (конечно, при условии, что нет других линейных зависимостей; в противном случае надо повторить этот процесс и добавить дополнительные линейные ограничения). Можно определить также и природу линейной зависимости. Предположим, что т. е. столбец матрицы X, имеет вид где — матрица, образованная первыми столбцами матрицы Тогда, рассматривая столбец элементов, расположенных над (теоретически) нулевым диагональным элементом, в качестве правой части системы уравнений, левая часть которой соответствует треугольнику, расположенному слева от этого столбца, мы можем решить эти уравнения и получить вектор а. (Законность такой процедуры вытекает из того, что уравнение соответствует модели, в которой остаточная сумма квадратов равна нулю; иначе говоря, оно имеет вид