§ 6. Алгоритмы восстановления многомерной регрессии в классе линейных функций

Рассмотрим алгоритм 12-4 восстановления многомерной линейной регрессии.

Пусть требуется в классе функций

восстановить регрессию. Пусть

— система собственных векторов матрицы (матрицы (12.11)), ранжированная в порядке убывания собственных чисел. Представим (12.22) в виде

где

Зададим на классе функций структуру

где содержит лишь те функции, которые разложимы по первым членам ряда. Тогда наилучшим элементом

структуры будет тот, на котором достигается минимум функционала

Реализация этого алгоритма та же, что и 12-2.

При построении линейной регрессии часто оказывается целесообразным проведение селекции обучающей последовательности. Необходимо исключить такие элементов чтобы минимизировать по функционал

где функционал эмпирического риска, построенный на обучающей выборке, из которой исключены соответствующие элементы.

Минимизацию функционала (12.26), так же как и раньше в аналогичных случаях, следует проводить с помощью эвристической процедуры последовательной минимизации. Перебором следует найти такую обучающую последовательность, состоящую из элементов, для которой оценка (12.26) (при минимальна. Если полученная оценка для меньше, чем при то соответствующий вектор удаляется из обучающей последовательности и делается попытка удалить еще один вектор и т. д. Удаляется такое множество векторов, при котором оценка (12.26) достигает минимума.

Выше при построении линейной регрессии структура (12.25) была задана в соответствии с порядком следования членов ряда (12.23). Однако часто порядок (12.23) определяется не в соответствии с величинами собственных чисел, а устанавливается в ходе построения регрессии. Рассмотрим такой пошаговый алгоритм построения регрессии. Сначала выбирается один фактор (функция

с помощью которого достигается наилучшее приближение к эмпирическим данным. Для определения такого фактора раз (n — число факторов) решается задача построения регрессии по одному фактору и выбирается тот, для которого величина эмпирического риска минимальна.

Этот фактор фиксируется, а затем перебором по оставшимся факторам подбирается второй фактор такой, чтобы построенная на этих двух факторах линейная функция доставляла наименьшую величину эмпирическому риску. Найденный второй фактор фиксируется и подбирается третий и т. д.

При такой схеме упорядочения по факторам в качестве окончательного решения выбирается функция, доставляющая минимум по а и функционалу