8.6. Вопросы точности вычислительной реализации процедур линейного оценивания

8.6.1. Два метода получения мнк-оценок.

Когда набор предсказывающих переменных и модель определены, мнк-оценки неизвестных параметров линейного уравнения регрессии можно определить путем решения одной из следующих четырех систем линейных уравнений:

(8.60)

где X — матрица данных, расширенная путем добавления строки из единиц; вектор размерности (р ), — свободный член уравнения регрессии;

где — центрированная матрица данных; — -мерный вектор центрированных значений зависимой переменной

является решением нормальной системы уравнений, связанной с системой (8.60);

т. е. является решением нормальной системы уравнений, связанной с системой

Решение системы нормальных уравнений (8.60") или (8.60") начали применять для получения оценок коэффициентов регрессии раньше, чем непосредственное решение системы линейных уравнений (8.60). Последний метод стали использовать примерно с середины шестидесятых годов [193, 194] (см. также более поздние работы [142, 143]). Основанием для активной пропаганды непосредственного решения системы (8.60), минуя этап получения нормальных уравнений, является доказанная в [193] большая устойчивость численного решения уравнения (8.60) при наличии ошибок округления и представления данных в ЭВМ по сравнению с решением системы нормальных уравнений. Однако, как показано далее, увеличение устойчивости может быть обосновано лишь при некоторых предположениях относительно свойств системы уравнений (8.60), которые далеко не всегда имеют место на практике.

Вопрос о выборе способа численного решения имеет смысл лишь в том случае, когда погрешность вычисления оценок коэффициентов регрессии на ЭВМ сравнима по величине с их статистическим разбросом, который определяется формулой (8.8). Необходимым для этого условием, как мы увидим далее, является наличие мультиколлинеарности. Но при выраженной мультиколлинеарности с точки зрения статистической устойчивости оценок лучше переходить к решению регуляризованных (тем или иным способом) систем уравнений (8.60), (8.60'), (8.60"), (8.60"). Для систем нормальных уравнений методами регуляризации будут уже рассмотренные метод главных компонент (см. § 8.2) и гребневая регрессия (см. § 8.5).