4.3. Метод наименьших квадратов со взвешиванием измерений
Функция цели, представляющая собой просто сумму квадратов остатков, часто неудовлетворительна по следующим причинам.
(а) Различные величины 
могут иметь разные физические размерности или быть измеренными в разных масштабах. Например»; уможет быть некоторой химической концентрацией, выраженной в мольных долях и изменяющейся в диапазоне от нуля до единицы;
в то же время 
может быть температурой, измеренной по шкале Цельсия и меняющейся в диапазоне 500—1000. Очевидно, 
имеет смысла суммировать квадраты чисел, столь сильно отличающихся по порядку величин; вероятно, остатки для температур будут доминировать над остатками для мольных фракций, и информация, заключенная в последних, будет потеряна.
(б) Может быть известно, что результаты некоторых наблюдений менее надежны, чем остальные, и мы хотим, чтобы оценки параметров подвергались меньшему влиянию этих измерений по сравнению с более точными. (Заметим, что мы не можем изменить статистическую структуру данных.)
Решение обеих проблем (а) и (б) одно и то же. Присвоим неотрицательный весовой коэффициент 
каждому 
и минимизируем
Выберем малый 
для 
измеренного в большом масштабе или с малой надежностью, и, наоборот, для больших 
. В более общей 
мулировке веса присваиваются попарным произведениям членов, 
Веса 
должны быть элементами положительно-определенной или полуопределенной матрицы, ибо иначе 
может стремиться к 
Очевидно, что 
есть частный случай 
при 
— частный случай 
при всех 
Дополнительные важные частные случаи 
указаны ниже.
(а) Взвешивание по переменной. При 
и весах, не зависящих от 
имеем
Если матрица В диагональна, 
упрощается до выражения
(б) Взвешивание по эксперименту. Применимо в основном к однооткликовому случаю
(в) Взвешивание по эксперименту и переменной.
Поможет ли нам статистика ответить на вопросы о том, какие выбрать величины весов или когда можно применять упрощенные формулы?
Ответ может быть утвердительным, по крайней мере отчасти. Далее мы увидим, что если уравнения модели линейны по параметрам (см. раздел 4.4) или если число наблюдений велико и ошибки распределены нормально (раздел 4.7), то для получения оценок с наименьшей дисперсией необходимо выбирать веса, являющиеся элементами матрицы, обратной ковариационной матрице ошибок, т. е.
где
Хотя в общем случае (ненормальных ошибок и нелинейной модели) мы и не можем доказать оптимальности свойств весов, которые являются элементами-матрицы, обратной ковариационной матрице, исполь зование таких весов все же разумно в силу их приближенной оптимальности. Когда ковариационная матрица неизвестна, можно использовать некоторое ее приближение или применить метод максимума правдоподобия, позволяющий иногда оценить веса наряду с другими пара метрами. Кроме того, можно получить непосредственную оценку ковариационной матрицы, повторив по крайней мере некоторые эксперименты.
