4.3. ОЦЕНИВАНИЕ С ПОМОЩЬЮ НАИМЕНЬШИХ КВАДРАТОВ

4.3.1. Принцип наименьших квадратов

Принцип наименьших квадратов был открыт немецким математиком Карлом Фридрихом Гауссом, который опубликовал свою первую работу по этому вопросу в 1821 г. и затем возращался к нему неоднократно в течение всей своей жизни. Его принцип наименьших квадратов представляет собой одно из первых крупных достижений в статистике, и даже на сегодняшний день он является одним из самых мощных методов, имеющихся в распоряжении статистиков.

Предположим, что выход некоторой системы может быть предсказан по входным переменным с помощью некоторой предполагаемой линейной модели

Например, могло бы быть выходом некоторого химического процесса, х — переменными процесса, такими, как температуры, давления и скорости потоков, а — неизвестными физическими параметрами, такими, как кинетические константы.

Линейная теория наименьших квадратов имеет дело с оцениванием параметров по данным, состоящим из одновременных измерений входных и выходных переменных. Значения, полученные в результате оценки параметров, можно подставить в (4.3.1) и полученное при этом выражение использовать для предсказания выхода при тех значениях входных переменных, которые появятся в будущем.

Заметим, что уравнение прогноза (4.3.1) не обязательно должно быть линейным по лишь по параметрам Например, если то является полиномом по х степени . Если же выход является нелинейной функцией параметров, то описываемые в этом разделе методы легко видоизменить [6] для оценивания параметров с помощью итераций линейного метода наименьших квадратов.

На практике можно наблюдать лишь отклик искаженный некоторой ошибкой Такое искажение неизбежно из-за ошибок измерения и из-за изменчивости, которую невозможно контролировать. Если модель не вполне соответствует действительности-, то ошибка может иметь систематическую компоненту, обусловленную этим несовершенством модели. Поэтому окончательный вид модели следующий:

где

a) - случайная величина, соответствующая измеренному отклику в эксперименте;

б) значения, принимаемые входными переменными эксперименте;

в) — случайная величина, представляющая ошибку, причем

Заметим, что если ошибки имеют отличное от нуля среднее значение то это можно учесть, считая в (4.3.2).

Теорема Гаусса. Подход с помощью метода наименьших квадратов к задаче оценивания содержится § фундаментальной теореме Гаусса. Она утверждает, что если ошибки некоррелированы, т. е. при и имеют нулевое среднее значение и одинаковую дисперсию то оптимальными выборочными оценками параметров являются значения минимизирующие сумму квадратов расхождений между наблюденными значениями и подбираемой моделью, т. е. сумму квадратов

Как показано в приложении выборочные оценки оптимальны в том смысле, что для любой линейной функции

оценка

имеет наименьшую среднеквадратичную ошибку.

Выборочные оценки наименьших квадратов можно получить, дифференцируя по и решая получившуюся систему из уравнений:

которые обычно называются нормальными уравнениями.

Пример. Чтобы проиллюстрировать метод наименьших квадратов Гаусса, рассмотрим ускорение тела, начинающего движение из состояния покоя под действием постоянной силы. Модель в этом случае имеет вид

где - скорость тела по истечении времени х. Был проведен эксперимент, в котором скорости тела замерялись в различные моменты времени х Измерение моментов времени

производилось очень точно, в то время как скорость измерялась с ошибкой. Поэтому в качестве вероятностной модели нашего эксперимента можно взять

Рис. 4.3. Данные «скорость—время» и линия регрессии, полученная методом наименьших квадратов.

На рис. 4.3 и в табл. 4.1 приведены данные полученные в действительном эксперименте.

Для этого примера сумма квадратов (4.3.3) имеет вид

Таблица 4.1. Данные «скорость—время» для оценивания ускорения

Дифференцируя эту сумму по 0 и приравнивая нулю производную, получаем единственное нормальное уравнение

Следовательно, выборочная оценка наименьших квадратов имеет вид

Для данных, помещенных в табл. 4.1, имеем , следовательно,

Подобранная линия показана на рис. 4.3. Она называется линией регрессии у на х. Теперь ее можно использовать для предсказания значения скорости у в заданный момент времени х в любых последующих экспериментах при тех же условиях.