11.3. Взвешенный метод наименьших квадратов

11.3.1. Нормальные уравнения

Если использовать взвешенный метод наименьших квадратов с (положительными) весами то нормальные уравнения имеют вид

где (эта матрица равна матрице из § 3.6). Записывая уравнения в виде

мы видим, что здесь можно использовать все методы § 11.2, если работать с матрицами т. е. умножить строку матрицы на . В то же время интересно отметить, что, как мы увидим ниже, в методах Холецкого, Грама-Шмидта и Гивенса извлечения квадратных корней можно и избежать.

11.3.2. Метод Холецкого Из уравнения

вытекает, что

поскольку введение диагональной матрицы влияет только на нормы векторов-столбцов матрицы не изменяя их взаимной ортогональности. Поэтому, действуя также, как и в (11.11), получаем разложение

где

есть диагональная матрица с положительными диагональными элементами. Чтобы найти поступаем следующим образом. Решаем сначала уравнение

и затем уравнение (11.31)

Приведенные выкладки показывают, что процедуру квадратного корня [Martin и др. (1965)], кратко упомянутую в последней части разд. 11.2.2, можно легко приспособить и для взвешенного метода наименьших квадратов. Надо просто вместо в (11.12) использовать и

11.3.3. Метод Грама-Шмидта

Алгоритм, описанный в разд. 11.2.4, легко видоизменить для использования его во взвешенном методе наименьших квадратов. В процессе преобразования матрицы X к матрице можно запоминать элементы диагональной матрицы Поэтому можно применить метод разд. 11.3.2, в частности (11.31), если использовать вместо X и запоминать вместо

11.3.4. Метод Джентлмена

Рассмотрим сначала задачу отыскания матриц для которых Используя замечания, аналогичные сделанным в разд. 11.2.4, рассмотрим преобразование строки произведения и шкалированной строки матрицы X:

В результате перейдем к строкам [Gentleman (1973, 1974а)]

где

и

Это означает, что преобразованные строки можно представить как строку новой матрицы и новую шкалированную строку матрицы X, масштабный множитель которой может и измениться. Запоминание матриц требует не большего объема памяти, чем запоминание матрицы и указанные модернизированные формулы не только позволяют избежать извлечения квадратных корней, но и требуют вдвое меньшего числа операций [Gentleman (1974а, с. 452)]. В невзвешенном случае мы всегда полагаем В случае же взвешенного метода наименьших квадратов мы полагаем равным весу до, придаваемому отдельной строке матрицы X, и поэтому получаем вместо

Если применить указанный метод к матрице то получаем матрицу

где