2.11. ВЗВЕШЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Иногда случается так, что часть наблюдений, используемых в регрессионном анализе, менее надежна, чем остальные. Обычно это означает, что не все дисперсии наблюдений равны. Другими словами, матрица 
не имеет вида 
а оказывается диагональной матрицей с неравными элементами. В некоторых задачах может оказаться также, что не равны нулю еще и внедиагональные элементы матрицы 
т. е. наблюдения коррелированы.
Если имеет место тот или другой случай, обычная формула 
для отыскания МНК-оценок неприменима и для их получения необходимо изменить процедуру. Основная идея базируется на преобразовании наблюдений 
в новые переменные 
которые удовлетворяют обычно используемым предположениям 
Кроме того, для использования 
-критерия и построения доверительных интервалов важно, чтобы выполнялось условие 
. К полученным таким образом переменным можно теперь применить обычный (невзвешенный) метод наименьших квадратов. Затем оценки можно снова выразить через исходные переменные 
Рассмотрим теперь, как в этом случае изменится обычная регрессионная процедура.
Допустим, что исследуется модель
где
Покажем, что может быть найдена единственная неособенная симметричная матрица Р, такая, что
Запишем:
Если 
случайный вектор, такой, что 
то 
где операция математического ожидания распространяется отдельно на каждый элемент квадратной 
-матрицы 
Следовательно,
Верно также, что 
т. е. 
вектор с нормальным распределением, поскольку элементы вектора 
состоят из линейных
комбинаций элементов вектора 
которые сами по себе распределены нормально.
Поэтому, если мы умножим обе части уравнения (2.11.1) слева на матрицу 
то получим новую модель
или
Обозначения в формуле (2.11.7) очевидны. Понятно, что мы можем теперь применить обычную теорию метода наименьших квадратов к уравнению (2.11.7), так как 
и 
Остаточная сумма квадратов равна:
Нормальные уравнения 
можно записать так:
с решением
тсли матрица 
неособенная. Сумма квадратов, обусловленная, регрессией, имеет вид
а полная сумма квадратов выражается соотношением
Разность между суммами (2.11.12) и (2.11.11) дает остаточную сумму квадратов. Сумма квадратов, обусловленная средним, есть 
где 
элементов вектора 
Заметим, что если мы вычтем эту величину из уравнения (2.11.11), то разность не будет дополнительной суммой квадратов в обычном смысле, поскольку преобразованная модель не содержит больше параметра (V Следовательно, подходящая сумма для вычитания есть та, что связана с первым компонентом уравнения (2.11.7).
Матрица дисперсий-ковариаций вектора 
есть
Совместная доверительная область для всех параметров может быть получена из неравенства
При желании это выражение можно преобразовать, используя уравнения (2.11.11), (2.11.12) и подстановку 
