8.2.4. ОСТАТКИ

На практике дисперсия ошибки не известна. Но поскольку входит как общий множитель в дисперсии и ковариации , а также и в дисперсии их линейных функций, нам приходится оценивать при оценке всех этих величин. Тогда оценки стандартных отклонений будут давать некоторое представление о точности оценок и аналогично для линейных функций от этих параметров.

Для оценки заметим, что если бы мы знали все 0,, то мы могли бы определить фактические ошибки из выражения

Оценивание могло бы тогда опираться на величину

равную как раз . Это одно из значений случайной величины имеющей математическое ожидание, равное Следовательно, оценкой для должно быть Но поскольку на самом деле не известны, мы модифицируем метод, используя вместо них их МНК-оценки. Тогда ЛНОМД для в равна: и мы получаем оценку на основе где остаток, получаемый из

Заметим, что — это и есть то самое минимальное значение которое по определению должно получиться при Величина — остаточная сумма квадратов (ОСК), которую мы обозначим через Тогда Оказывается, что случайная величина для которой служит частной реализацией, больше не имеет математического ожидания Вместо этого математическое ожидание сводится к так что оценка равна:

Отсюда одна из формул для несмещенной оценки имеет вид

Мы оцениваем стандартное отклонение из выражения

а стандартную ошибку линейной функции из выражения

Можно заметить, что (8.2.4) «не срабатывает» при когда число наблюдений оказывается таким же, как и число параметров. В этом случае, хотя у нас и достаточно наблюдений для оценки нет никаких дополнительных данных, на основе которых можно было бы оценить (на самом деле так что наблюдения можно описать превосходно). Однако на практике, поскольку оценивание существенно для суждения о точности оценок мы должны гарантировать, что

Далее (в уравнении будет показано, что для оценки не обязательно находить индивидуальные остатки. Вместо этого можно воспользоваться формулой

т. e. мы вычитаем из — суммы квадратов всех наблюдений — произведение МНК-оценки на правую часть системы нормальных уравнений, приведенной в уравнении (8.2.1).

Пример 8.2.11. Остатки в примерах 8.2.1 и 8.2.3. В модели измерений остаток получается из

Остаточная сумма квадратов в этом случае равна:

Можно записать ее и иначе: причем эта формула получается непосредственно, если исходить из уравнения (8.2.5).

Для оценки имеем

Пример 8.2.12. Остатки в примере с ускорением силы тяжести. В этом случае [см. примеры 8.2.2, 8.2.4 и 8.2.8] остатки таковы: , откуда . А поскольку . Оценки дисперсий (с использованием элементов матрицы из примера 8.2.8) таковы: Воспользовавшись оценками значений получим соответствующие оценки стандартных отклонений: Дисперсия, связанная с оценкой получена в примере 8.2.8 и равна следовательно, оценка стандартного отклонения есть (продолжение см. в примере 8.3.1).

Пример 8.2.13. Остатки в обычной линейной регрессии. В регрессионной модели [ср. с примером 8.2.9] имеем

где .

Подстановка вместо того, что ему равно, и раскрытие скобок дает

Среднее слагаемое равно отсюда

Достаточно просто показать, что это выражение равно тому, что было использовано в уравнении (8.2.5), а именно

Пример 8.2.14. Остатки в односторонней конфигурации. В одно стороннем плане с моделью

[ср. с примером 8.2.6] имеем для остаток

так что остаточная сумма квадратов равна:

Это сумма квадратов отклонений наблюдений в группе от группового среднего. Так как число параметров равно то , где .

А вот другое выражение для получаемое из уравнения (8.2.5):