7.13. Остатки

После того как оценки 0 для параметров уже получены, мы можем подсчитать в итоге остатки:

Эти остатки измеряют отклонение данных от наилучшей кривой или поверхности, которую вообще можно к ним подобрать. Если мсдель

на самом деле верна, то эти остатки должны быть связаны только с ошибками в данных. Если таких ошибок не существует, то не должно быть и никаких остатков. Остатки должны быть в среднем меньше, чем ошибки, поскольку мы выбираем оценку 0 так, чтобы сделать остатки как можно меньше. Ошибки, которые можно считать остатками, полученными при истинных значениях 0, должны быть больше (если только не равно . В таком случае остатки являются смещенными оценками ошибок, причем смещение направлено на уменьшение абсолютных значений.

Уточним теперь приближенные утверждения об этом смещении и распространим их на некоторые типичные ситуации оценивания. Предположим, что ошибки для различных экспериментов не коррелированы и для всех экспериментов имеется одна и та же ковариационная матрица Далее предположим, что оценка 0 минимизирует целевую функцию вида

которая рассматривалась в разделе 5.9. В точке минимума составляющие градиента функции должны обратиться в нуль. Следовательно, из равенства мы имеем.

где

Если считать, что модель верна, то ошибка — это остаток, вычисленный для истинного значения 0, т. е.

Предполагая, что оценка 0 не слишком отличается от 0, из равенств мы приближенно имеем

Подстановка равенства в равенство дает

откуда

где

Подставляя (7.13-8) в (7.13-6), получаем

Поскольку по предположению из равенства мы получаем

Соответствующая этому мера связи остатков задается (нецентрированной) выборочной ковариационной матрицей V, определяемой равенством

Так что согласно равенству (7.13.11)

Особый интерес представляют случаи, когда матрица пропорциональна матрице как в строках 1 и 2 табл. 5.1 (матрица V известно или пропорциональна известной). Легко проверить, что равенства остается неизменным, если матрица умножается на константу, поскольку матрица С будет умножаться на ту же константу. Следовательно, мы можем просто сделать подстановку и получить соотношение

Как и ожидалось, матрица «меньше», чем V, поскольку матрица положительно определена.

Рассмотрим случай модели с единственным уравнением, когда . В этом случае матрица В есть вектор Следовательно, по формуле получаем

и, поскольку матрица С имеет размеры число параметров) имеем

Таким образом, равенство принимает вид

Если мы хотим оценить величину (а — это стандартное отклонение для ошибок), можно воспользоваться выражением

Это хорошо известная формула, которая устанавливает, что дисперсия ошибок оценивается суммой квадратов остатков, деленной на число степеней свободы, которое равно числу наблюдений минус число неизвестных параметров Если модель содержит уравнений, ситуация становится более сложной. Допустим, однако, что нам нужно оценить матрицу V, которая отличается от матрицы V только некоторым множителем; например, мы допускаем, что

Тогда, подставляя и умножая на матрицу мы получим

Вычисляя след матриц в обеих частях равенства и вспоминая, что если квадратная матрица, то

мы получим

так что

Следовательно, чтобы оценить матрицу V, мы используем (центрированную) выборочную ковариационную матрицу

И опять, чтобы оценить ковариационную матрицу ошибок, мы берем матрицу моментов для остатков и делим на число степеней свободы,

приходящихся на одно уравнение, т. е. число наблюдений л на одну переменную минус «среднее» число параметров на одно уравнение Ясно, что равенство сводится к в случае единственного уравнения:

В случае когда матрица V совсем неизвестна, в соответствии со строкой 3 табл. 5.1 мы имеем, что матрица пропорциональна матрице Если мы теперь сделаем дополнительное предположение, что пропорциональна V, то мы опять получаем, что матрица пропорциональна равенство все еще справедливо. Оценка максимального правдоподобия смещена за счет множителя . Поскольку этот множитель стремится к единице при оценка максимального правдоподобия состоятельна.

Выведенные здесь формулы следует употреблять с осторожностью, поскольку остатки для одного уравнения могут оказаться много меньше предсказанных, в то время как для других уравнений — многс больше. Только в среднем в определенном смысле применимы наши коэффициенты смещенности.