§ 2. Метод наименьших квадратов и регуляризация

Как мы отмечали, применение описанного выше метода часто приводит к неудовлетворительным результатам.

Повышение качества приближения может достигаться различными способами. Рассмотрим первый из них, называемый методом наименьших квадратов. Перенумеруем функции таким образом, чтобы меньшим значениям j соответствовали более гладкие функции. Приближение ищется в виде

где . Параметры определяются из условия

где, например,

В основе метода наименьших квадратов лежит следующее соображение. Малость величины обеспечивает близость функций и в точках при функция является линейной комбинацией относительно более гладких функций, поэтому у нее меньше возможностей отличаться от вне узлов по сравнению со случаем .

Числа называемые весами, подбираются в зависимости от плотности распределения точек . Если значения содержат случайную погрешность, то выбирают также в зависимости от дисперсии погрешностей измеряемых значений. Там, где точки распределены плотнее, числа берутся меньше; значениям с большей дисперсией погрешности ставят в соответствие меньшие значения . Такие рекомендации выглядят довольно неопределенными, поскольку нельзя предложить общего правила, пригодного для всех задач. Для конкретных классов задач принципы выбора и вырабатываются с учетом специфических свойств задач на основе статистических критериев и численного эксперимента.

Приравнивая нулю производные , получим систему линейных уравнений для определения .

Раскрывая скобки в (1), получим

где

Так как , то симметричная матрица неотрицательна. В связи с этим в ряде стандартных программ метода наименьших квадратов для решения системы уравнений (2) используется метод квадратного корня. Иногда целесообразно искать , непосредственно минимизируя Ф каким-либо итерационным методом.

Выражая из (2) через , а затем через , получим

следовательно,

где

Воспользовавшись (3), можно получить также формулу численного дифференцирования и квадратурную формулу .

В основе метода регуляризации непосредственно лежат соображения о сглаживании аппроксимирующей функции. Наиболее распространенной формой метода регуляризации является следующая. Приближение отыскивается в виде

а коэффициенты выбираются из условия минимума выражения

Функционал подбирается из следующего условия: если значение этого функционала невелико, то функция обладает определенной гладкостью. Например, может быть некоторым приближением к интегралу . В приложениях часто используется случай, когда

, на котором мы далее и остановимся. Пусть минимум выражения достигается при некоторых , и

Рассмотрим крайние случаи: и — очень большое число. Имеем равенство

Если , то система (1.1) имеет решение и на ее решении правая часть этого равенства обращается в нуль. В то же время выражение всегда неотрицательно. Таким образом, нижняя грань достигается на значениях , являющихся решениями системы (1.1). Тогда совпадает с интерполяционным многочленом с узлами интерполяции . При больших в функционале определяющим является второе слагаемое, нижняя грань которого достигается на гладкой функции. Следовательно, есть какие-то основания ожидать, что при промежуточных значениях функции будут гладкими и в то же время не очень сильно отличающимися от приближаемой функции в заданных узлах.

Наши рассуждения выглядят довольно расплывчато, однако при такой общей постановке задачи приближения функции без конкретного указания системы функций , распределения точек и класса рассматриваемых функций вряд ли можно сказать что-либо определенное. Подобные грубые «физические» соображения часто помогают при конструировании новых методов решения задачи в условиях недостаточной информированности о самой задаче.

Ниже на конкретном примере будет объяснена сущность эффекта, достигаемого за счет применения регуляризации.