ПРИЛОЖЕНИЕ П4.1. ЛИНЕЙНАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ

Выборочные ошибки с минимальной среднеквадратичной ошибкой. В этом разделе содержатся доказательства некоторых общих результатов линейной теории наименьших квадратов. Частными случаями этих результатов являются результаты, упоминавшиеся в разд. 4.3.

Предполагается, что модель эксперимента имеет вид

или в матричной форме

где векторы-столбцы и получаются транспонированием из векторов-строк

соответственно,

есть матрица наборов значений, принимаемых выходными переменными в экспериментах. Предполагается, что ошибки имеют нулевое среднее значение и матрицу ковариаций V, элементы которой равны Кроме этого, о совместной плотности вероятности ошибок ничего не известно.

Если нам даны наблюденные в экспериментах отклики у, то обобщенные выборочные оценки наименьших квадратов определяются как те значения , которые минимизируют квадратичную форму

Дифференцирование (П4.1.3) по 0 и приравнивание производных нулю дает следующие линейные уравнения для этих оценок:

Критерий (П4.1.3) может быть обоснован с двух точек зрения.

а) Используя (3.1.19) и (П4.1.2) и предполагая, что ошибки имеют многомерное нормальное распределение с матрицей ковариаций V, получаем, что логарифмическая функция правдоподобия для параметров равна с точностью до аддитивной константы выражению (П4.1.3). Следовательно, при дополнительном предположении о том, что ошибки имеют многомерное нормальное распределение, обобщенные выборочные оценки наименьших квадратов совпадают с выборочными оценками максимального правдоподобия.

б) Предположим, что в (П4.1.4) выборочные оценки 0 заменены на соответствующие оценки 0. Тогда обобщенный принцип наименьших квадратов утверждает, что оценки 0 таковы, что средний квадрат разности двух линейных комбинаций

и

принимает свое минимальное значение. Следовательно, произвольная линейная функция от параметров оценивается с минимальной среднеквадратичной ошибкой.

Доказательство обобщенного принципа наименьших квадратов. Чтобы доказать, что оценки наименьших квадратов, получаемые из (П4.1.4), минимизируют среднеквадратичную ошибку между и рассмотрим оценку линейной комбинации являющуюся линейной функцией общего вида от случайных величин т. е.

Из (П4.1.2) получаем так как , следовательно,

Далее, так как У, имеют ту же самую матрицу ковариаций, что и то

Отсюда среднеквадратичная ошибка оценки равна

Если теперь линейная комбинация может принимать неограниченные значения, то и среднеквадратичная ошибка будет неограниченно возрастать всегда, за исключением только случая, когда Отсюда для достижения минимума среднеквадратичной ошибки надо положить и минимизировать квадратичную форму при следующем ограничении на 1:

Это эквивалентно нахождению безусловного минимума квадратичной формы

где -вектор множителей Лагранжа. Приравнивание нулю производных по Г дает

Решая (П4.1.5) и (П4.1.6) относительно и 1, получаем

и

Отсюда оценка линейной комбинации с минимальной среднеквадратичной ошибкой имеет вид

Но из (П4.1.4) получаем, что это выражение в точности совпадаете

где — оценка, соответствующая выборочной оценке (П4.1.4). Приведенное выше доказательство является обобщением доказательства, приведенного Барнардом [1] для случая некоррелированных: ошибок Если ошибки некоррелированы и имеют одинаковую дисперсию то где I — единичная матрица. Равенство (П4.1.4) переходит при этом в

Пример. Чтобы проиллюстрировать применение формулы (П4.1.7), рассмотрим простой двухпараметрический вариант модели (04.1.1):

и предположим, что ошибки некоррелированы и имеют нулевое среднее значение и дисперсию Тогда сводится к

т. е.

где суммирование всюду производится от до

Отсюда выборочные оценки наименьших квадратов имеют вид

Для ортогональной параметризации разд. 4.3.4, а именно для

матричное уравнение сводится к

Отсюда выборочные оценки наименьших квадратов равны .

Матрица ковариаций оценок. Чтобы оценить точность выборочных оценок параметров, нужно вычислить матрицу ковариаций соответствующих оценок. Диагональные элементы этой матрицы дают дисперсии каждой из оценок, а недиагональные элементы дают ковариации каждой пары оценок.

Мы имеем

и, воспользовавшись (П3.1.2), получаем

Отсюда матрица ковариаций оценок равна

Если то (П4.1.8) сводится к

Для приводившегося выше примера с двухпараметрической моделью имеем

так что

Следовательно,

Для ортогональной параметризации

так что

Следовательно,

Ранее было показано, что оценки наименьших квадратов минимизируют среднеквадратичную ошибку (т. е. дисперсию, так как оценки несмещенные) линейной функции параметров

Так как

то отсюда следует, что оценки наименьших квадратов минимизируют определитель матрицы ковариаций оценок .

Оценивание остаточной дисперсии. Эта задача в ее наиболее общей постановке включала бы оценивание всех элементов матрицы ковариаций ошибок V. В этом разделе мы рассмотрим лишь частный случай так что оценивание V сводится к оцениванию являющейся дисперсией каждой из

Пусть обозначает квадратичную форму

которая сводится для случая к сумме квадратов

Подставив выборочные оценки получим

но так как, согласно то

и, заменяя на

Заменяя выборочные оценки в оценками и беря математическое ожидание, получаем [2, 3]

так что

является несмещенной оценкой Для однопараметрического случая равенство сводится к

как и получалось в разд. 4.3.2. Для двухпараметрического случая равенство имеет вид

и для ортогонального двухпараметрического случая

С помощью рассуждений, аналогичных рассуждениям, использовавшимся в разд. 4.2.3, можно показать, что оценка, имеющая в знаменателе, дает наименьшую среднеквадратичную ошибку, и, следовательно, она предпочтительней, чем Однако на практике чаще всего используют выборочную оценку

Доверительные области. Чтобы вывести доверительные области для , рассмотрим тождество

Отсюда

Из нормальных уравнений (П4.1.4) следует, что два последних члена тождественно равны нулю. Исчезновение этих членов со смешанными произведениями обусловлено тем, что векторы и ортогональны в -мерном выборочном пространстве. Отбрасывая эти исчезающие члены и заменяя у на , получим

Предполагая, что ошибки распределены нормально, получаем отсюда, что является квадратичной формой от

нормальных случайных величин и, следовательно, является случайной величиной Эта случайная величина, согласно разлагается на Отсюда случайная величина

распределена, как Следовательно, область, вероятность попадания в которую есть (1—а), имеет вид

Заменяя 0 на 0 в получаем -ную доверительную область для параметров Область является эллипсоидом в -мерном пространстве параметров и ее объем, как нетрудно проверить, обратно пропорционален определителю Но и так как выборочные оценки наименьших квадратов минимизируют определитель то они, следовательно, минимизируют также и объем доверительного эллипсоида для параметров.

Подставляя и замечая, что из следует, что является выборочной оценкой получаем -ную доверительную область для 0

в случае когда

Для одного параметра имеет вид

что является другой записью доверительного интервала (4.3.11), так как (1—а). Для двухпараметрического примера неравенство принимает вид

Это сводится к неравенству

которое представляет собой уравнение эллипса на плоскости .

Для ортогональной двухпараметрической модели (П4.1.15) сводится к

что также является уравнением эллипса на плоскости , но в этом случае оси эллипса параллельны осям координат.

Вывод доверительных областей непосредственно по контурам, образуемым линиями уровня суммы квадратов. В нелинейных задачах невозможно вывести явные выражения для выборочных оценок наименьших квадратов и матрицы Примеры таких задач приводятся в разд. 5.4.4. В этом случае разложение (П4.1.13) можно записать в виде

Используя те же рассуждения, что и при выводе (П4.1.14), получаем, что случайная величина

распределена, как Следовательно, область

является -ной доверительной областью для параметров. Если имеются контуры функции то -ный контур соответствует константе (уровню), полученной умножением остаточной суммы квадратов на константу в квадратных скобках в (П4.1.17).

Дисперсия прогноза. Если для предсказания отклика в будущем эксперименте используется модель (П4.1.1), то значение прогнозируемой величины будет иметь вид

так как Дисперсия соответствующей оценки равна

где мы использовали Если то сводится к

Отсюда -ный доверительный интервал, основанный на предсказываемом значении у и выборочной оценке дисперсии меет вид

ЛИТЕРАТУРА

(см. скан)