Остатки во взвешенном методе наименьших квадратов

Остатки, которые должны анализироваться, представляют собой оценки составляющих вектора Они выражаются вектором где берутся из уравнения (2.11.11). Следовательно, их можно выразить в виде

Аналогичная формула применяется, если оценивается матрица V (см. параграф 3.9).

Общие замечания

Наиболее простой случай приложения взвешенного метода наименьших квадратов имеет место тогда, когда наблюдения независимы, но дисперсии различны, так что

где некоторые из величин могут быть и равными.

В практических задачах получить вначале определенную информацию о форме матрицы V зачастую трудно. Поэтому иногда стоит (имея в виду возможность ошибиться) делать предположение, что а затем попытаться определить форму матрицы V, исследуя остатки (см. гл. 3).

Если по существу задачи требуется использовать взвешенный метод наименьших квадратов, но фактически применяется обычный метод наименьших квадратов, то получаемые с его помощью оценки параметров будут все же несмещенными, хотя они и не будут иметь наименьшие дисперсии, поскольку оценки с минимальными дисперсиями получаются на основе метода наименьших квадратов с правильными весами.

Когда применяется нормальный метод наименьших квадратов, оценки получаются из формулы и при этом

но

Напомним: из уравнения (2.11.13) следует, что при правильной обработке

и вообще элементы этой матрицы порождают меньшие значения

дисперсий как для оценок отдельных коэффициентов, так и для их линейных функций.

Пример использования взвешенного метода наименьших квадратов

Это чрезвычайно простой, но интересный пример. Предположим» что мы желаем оценить модель

Допустим, что

где веса, которые должны быть определены. Отсюда имеем:

Применяя общие формулы, приведенные выше, мы найдем после некоторых преобразований

где суммирование ведется по

Случай 1. Допустим, что т. е. дисперсия величины пропорциональна соответствующему значению величины Тогда Следовательно,

Поэтому, если дисперсия отклика пропорциональна то наилучшая оценка коэффициента регрессии есть среднее от деленное на среднее от Кроме того,

Случай 2. Пусть т. е. дисперсия отклика пропорциональна квадрату соответствующего значения Тогда Следовательно,

Таким образом, если дисперсия отклика пропорциональна X то наилучшая оценка регрессионного коэффициента есть среднее из отношений , получаемых на основе каждой пары наблюдений.

Кроме того,

(Примечание. Подбор уравнения прямой линии, проходящей через начало координат , базируется на излишне строгих предположениях, которые, в общем, не оправдываются. Даже если априори известно, что прямая должна проходить через начало координат (как было бы, например, в случае, если тормозной путь, скорость движения транспорта), то это не означает, что построенная прямая обязательно точно пройдет через начало координат. Согласно имеющимся данным прямая может не пройти через начало координат, однако при большем объеме данных может оказаться адекватной модель более высокого порядка, согласно которой линия должна проходить через начало координат. Вообще лучше исходить из предположения, что модель может содержать коэффициент а потом, после нахождения оценки проверять гипотезу о его незначимости. Это замечание справедливо как для взвешенного, так и для обычного метода наименьших квадратов.)