§ 2. Алгоритм восстановления регрессии в классе полиномов
Рассмотрим алгоритмы восстановления одномерной функциональной зависимости по эмпирическим данным
в классе линейных по параметрам функций
Будем считать, что функции
априорно ранжированы, т. е. задана структура
элемент которой 
есть множество функций
В этом случае проблема сводится к отысканию такого элемента 
структуры (12.8) и функции 
минимизирующей в 
эмпирический риск, для которых достигается минимум функционала
Минимум эмпирического риска
вычисляется с помощью стандартных приемов линейной алгебры: вектор параметров 
аэру равен
где 
вектор значений 
— матрица,
Проблема обращения матрицы типа 
изучена достаточно подробно. (См., например, [63], [59].) В качестве алгоритма обращения матрицы может быть использован любой из рекомендованных там алгоритмов.
Таким образом, единственная проблема, которая возникает при реализации рассмотренной схемы, — определить, какую систему функций (12.7) использовать.
Восстанавливать функцию будем в классе полиномов, т. е. положим, что 
есть полином степени 
С принципиальной точки зрения безразлично, как заданы полиномы 
(лишь бы коэффициенты при старших степенях были отличны от нуля). Поэтому часто считают, что 
С вычислительной же точки зрения удобно выбирать систему ортонормальных на точках обучающей последовательности 
функций
, т. е. таких, для которых
Для такой системы функций матрица 
единичная и вектор параметров 
вычисляется без использования операции обращения матрицы
Итак, определен алгоритм 12-1 восстановления одномерных функциональных зависимостей в классе полиномов.
В главе IX было установлено, что приближение к искомой функции в классе полиномов можно гарантировать лишь в интегральном смысле, в то время как в классе кусочно-полиномиальных зависимостей можно добиться не только интегрального приближения, но и равномерного приближения на всем отрезке определения функции. Оказывается (это будет показано в следующем параграфе), что в вычислительном отношении задача построения приближения функции в классе кусочно-полиномиальных зависимостей немногим сложнее приближения в классе полиномов.
