8.2.6. МОДИФИКАЦИИ ДЛЯ НЕРАВНОТОЧНЫХ НАБЛЮДЕНИЙ; ВЗВЕШЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

Мы по-прежнему предполагаем, что наблюдения равнонадежны, т. е. что случайные ошибки имеют равные дисперсии. Но это не общий случай: матрица может быть диагональной, но иметь на диагонали неодинаковые элементы

Допустим, что эти дисперсии известны нам с точностью до постоянного множителя который не известен, т. е. , где известны. Имеем

Меняя масштаб с помощью преобразования получим новую модель:

где Теперь при из

следует

а из

следует

Понятно, что если не коррелируют, то это верно и для Значит, к такой новой модели можно применять методы, которые мы уже обсуждали. Оценки метода наименьших квадратов для находятся из минимизации выражения

где — эмпирические значения . А для исходной модели имеем (подставляя

Выходит, что вместо того, чтобы минимизировать сумму квадратов ошибок оценок, как мы делали раньше [см. раздел 8.2.2], теперь мы «взвешиваем» каждый член этой суммы, умножая его на величину, обратную дисперсии соответствующей случайной величины. Это придает больший вес тем наблюдениям, ошибки которых оказываются меньше, что интуитивно кажется вполне разумным. Такая процедура называется взвешенным методом наименьших квадратов.

Выраженная в матричных терминах новая модель имеет вид с матрицей плана , где получается из .

МНК-оценка для в следующая:

где — конкретные значения

Подставляя вместо В значение и замечая, что — симметричная матрица, находим

Но Обозначая это через V, получим

а это и есть то значение которое минимизирует сумму квадратов

Дисперсионная матрица вектора равна:

Пример 8.2.17. Повторные наблюдения. Пусть среднее из наблюдений, причем все они имеют одно и то же математическое ожидание и общую дисперсию Если все наблюдения независимы, то имеет дисперсию и на основе полученных ранее результатов

Пример 8.2.18. Линейный закон — прямая, проходящая через начало координат. Рассмотрим модель регрессии

Здесь Используя (8.2.7), найдем

а дисперсия в равна

Положим для примера, что — доля потерь тепла в стандартном коттедже (одноквартирном с тремя ванными и общей стеной с соседним коттеджем), а х представляет собой разность между внутренней и наружной температурой. В таком случае дисперсия будет, скорее всего, возрастать с ростом х. Простейший вид такой зависимости — это т. е. дисперсия пропорциональна разности температур. Значит, мы найдем, что

и

Наоборот, если стандартное отклонение пропорционально то