§ 11. Применение метода наименьших квадратов к построению эмпирических формул. Решение систем линейных алгебраических уравнений по методу наименьших квадратов

Пусть две переменные х и у связаны известной функциональной зависимостью

содержащей параметров Пусть при известны с некоторой точностью значения Требуется найти значения параметров

С такой задачей приходится встречаться при построении эмпирических формул, выражающих в аналитической форме закономерность изменения одной величины в зависимости от изменения другой, если в результате наблюдений получена таблица значений величины у при соответствующих значениях х.

Вид функциональной зависимости и число параметров в некоторых случаях известны из каких-либо дополнительных соображений, в других случаях вид функциональной зависимости усматривается из графика, построенного по наблюденным значениям а число параметров и их значения подбираются так, чтобы эмпирическая формула наилучшим образом отображала результаты наблюдений и была достаточно проста. В некоторых случаях, когда не удается построить достаточно простую эмпирическую формулу, выражающую достаточно просто зависимость у от х на всем диапазоне изменения аргумента х, прибегают к построению ряда эмпирических формул, выражающих эту зависимость в опреде генных более узких пределах изменения х.

Вернемся к поставленной задаче. Если бы значения при были известны точно, то задача принципиально решалась бы просто. Нужно было бы из системы

взять уравнений и найти из них значения параметров (предполагается, что эта система имеет единственное решение). При этих значениях параметров были бы в точности удовлетворены все остальные уравнения системы. Если же как и бывает практически, являются приближенными значениями, то, найдя из каких-либо уравнений значения параметров мы столкнемся с тем фактом, что эти значения параметров не будут удовлетворять остальным уравнениям, причем разность между правой и левой частями для некоторых уравнений может быть значительной. Наша система чаще всего будет несовместна. Возникает задача так определить значения параметров, чтобы в некотором смысле все уравнения системы были удовлетворены с наименьшей погрешностью, т. е. найти те значения параметров, при которых искомая эмпирическая формула наилучшим образом согласуется с результатами наблюдений.

Одним из способов отыскания этих значений параметров является следующий. Отыскиваются приближенные значения параметров например решая систему, составленную из каких-либо уравнений системы. Далее, ищутся поправки к этим значениям

Предполагая, что поправки достаточно малы, а функция достаточно гладкая функция, разлагают правые части уравнений системы в ряд Тейлора в окрестности точки удерживая лишь члены первого порядка относительно поправок, т. е.

Вводя для сокращения записи обозначения:

Вернемся к поставленной задаче. Если бы значения при были известны точно, то задача принципиально решалась бы просто. Нужно было бы из системы

взять уравнений и найти из них значения параметров (предполагается, что эта система имеет единственное решение). При этих значениях параметров были бы в точности удовлетворены все остальные уравнения системы. Если же как и бывает практически, являются приближенными значениями, то, найдя из каких-либо уравнений значения параметров мы столкнемся с тем фактом, что эти значения параметров не будут удовлетворять остальным уравнениям, причем разность между правой и левой частями для некоторых уравнений может быть значительной. Наша система чаще всего будет несовместна. Возникает задача так определить значения параметров, чтобы в некотором смысле все уравнения системы были удовлетворены с наименьшей погрешностью, т. е. найти те значения параметров, при которых искомая эмпирическая формула наилучшим образом согласуется с результатами наблюдений.

Одним из способов отыскания этих значений параметров является следующий. Отыскиваются приближенные значения параметров например решая систему, составленную из каких-либо уравнений системы. Далее, ищутся поправки к этим значениям

Предполагая, что поправки достаточно малы, а функция достаточно гладкая функция, разлагают правые части уравнений системы в ряд Тейлора в окрестности точки удерживая лишь члены первого порядка относительно поправок, т. е.

Вводя для сокращения записи обозначения:

Решая систему нормальных уравнений одним из известных способов (подробнее об этом будет рассказываться в следующей главе), найдем значения неизвестных которые для нашей исходной задачи являются поправками к начальным значениям параметров, а суммы можно принять за искомые значения параметров в эмпирической формуле.

Предыдущий способ дает удовлетворительные результаты только в том случае, когда результаты измерений имеют одинаковую точность, т. е. их среднеквадратичные погрешности примерно одинаковы (см. гл. 1). Если этого нет, то целесообразно сначала все условные уравнения привести к «одинаковому весу». Это делается следующим способом. Пусть среднеквадратичные ошибки величин

суть

Вычисляем величину

и находим веса

Затем каждое условное уравнение умножаем на соответствующее Очевидно, получим систему, эквивалентную исходной, в которой правыми частями будут величины

имеющие одну и ту же среднюю ошибку

Это равносильно составлению нормальных уравнений из условия минимума

Заметим, что для упрощения вычислений вместо среднеквадратичных ошибок можно брать величины, им пропорциональные, так как это не меняет нормальной системы.

Наконец, отметим, что на задачу приближения функций, заданной таблицей значений, с помощью алгебраического многочлена степени по методу наименьших квадратов можно смотреть как на задачу построения эмпирической формулы в виде многочлена степени Роль параметров в этом случае играют коэффициенты многочлена, причем система условных уравнений будет иметь вид