5.10. Метод Гаусса как последовательность линейных регрессионных задач

Сущность метода Гаусса состоит в том, что на итерации делается шаг, направление которого задается выражением

Экивалентной является запись направления как решения системы линейных уравнений

которую, с учетом формул можно переписать в виде

где индекс опущен исключительно для удобства.

Вновь обращаясь с разделу 4.4, находим, что если необходимо с помощью линейного регрессионного анализа определить коэффициенты в уравнениях

и если при этом ковариационная матрица полагается равной

то задача сводится к минимизации функции

Нормальные уравнения, соответствующие задаются в виде причем все величины вычисляются при Таким образом, каждая итерация метода Гаусса представляет собой решение задачи построения множественной линейной регрессии.

Приведенные выше рассуждения касаются лишь выбора направления движения к минимуму, а не величины шага Решением линейной регрессионной задачи является т. е. в этом случае Этот шаг в нелинейной задаче может оказаться недопустимым, и тогда для выбора лучшего значения надо применять интерполяционно-экстраполяциоиную схему, описанную в разделе 5.14, Такого

рода схемы были впервые предложены Боксом 1311, Хартли [98], Мак-Ги [143]:

К линейной регрессионной задаче, представленной целевой функцией и ее нормальными уравнениями можно также прийти без обращения к табл. 5.1 и расчета производных в соответствии с разделом 5.9. Для этого надо просто заменить уравнения модели их линейными приближениями в окрестности текущего значения в:

откуда аналогично уравнению будем иметь Запись представляет собой линеаризованные уравнения модели. В качестве весовой матрицы мы возьмем если эта матрица известна. Если она неизвестна, то надо взять ее текущую оценку (например,

Само собой разумеется, что всевозможные ухищрения, оказывающиеся полезными для решения линейных регрессионных задач, могут быть применены и в данном случае. Например, хорошо известно, что обусловленность нормальных уравнений обычно улучшается, если произведено «вычитание средних».

Такой способ применяется, если модель включает свободный член. Пусть, например, для модели, состоящей из одного уравнения, выражение имеет вид

Обозначим через среднее значение для т. е.

Тогда уравнение можно записать следующим образом:

где

Если использовать модель для расчета то на основании этих величин и уравнения можно вычислить

Отличительным свойством нормальных уравнений в регрессионных задачах является то, что они всегда имеют решение, даже в тех случаях, когда матрица вырождена. Действительно, если вырожденная матрица, имеется бесчисленное множество решений. То из них, которое имеет минимальную длину, можно записать в виде

Другие решения можно получить, например, с помощью шаговой регрессии (процедуру исключения относительно диагональных элементов продолжают до тех пор, пока остается хотя бы один ненулевой диагональный элементов; см. раздел А.3). В этом решении число ненулевых компонентов не превосходит ранга матрицы Мы отдаем предпочтение решению, получаемому с помощью псевдообращения, в силу его минимальной длины. Однако наличие ошибок округления делает применение точного псевдообращения нежелательным. Гораздо лучше для преодоления вырожденности матрицы применить метод выбора направлений или метод Марквардта.